0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌提出了一种新的映射机制——Turbo

nlfO_thejiangme 来源:lq 2019-10-01 16:54 次阅读

伪彩色图在计算机视觉机器学习中具有重要的应用,从深度图的可视化到类似图像差分等抽象应用都需要伪彩色图来帮助我们理解视觉信息。彩色画的图像帮助人类提升对于细节的理解能力,定量估计数值并更有效直观地识别出数据中的模式。 然而对于颜色映射的选择会极大地影响人们对于图像的理解。例如在医学图像处理中彩色映射常常会引入精度损失。但在很多任务中伪彩色图还是人们更希望应用的表达形式,在一定精度损失的代价下能够更加快速直观的进行视觉评价。下图显示了灰度表示的视差图和利用Jet映射的伪彩图,伪彩图对于人类视觉来说更为直观。

计算机视觉中最常用的颜色映射算法是Jet,它具有高的对比度可以有效突出图像中的细节。但如果仔细观察图像的梯度图会发现一系列的颜色带,在青色和黄色区域最为明显。这对于伪彩图最大的影响在于颜色变化过于剧烈,将导致人眼对于实际数据的误解。很多平滑过渡的区域会被误解为有较大的梯度。由于Jet映射对于人眼感知来说变化不是常量,所以它不具有感知均匀性。这种影响对于色盲人士来说更为明显,将造成伪彩图映射出的信息变得模糊。下图就显示了模拟出的红色盲看到的结果。

为了解决这些问题,目前有很多均匀和色盲人士可以使用的颜色映射图,例如绘图工具包matplotlib中的Viridis(左)和Inferno(右)映射。这类线性亮度映射解决了Jet中的很多问题,但依然存在一些限制使得这类线性颜色映射函数不是某些任务的最优方法。

谷歌的研究人员希望解决这些颜色映射中存在的问题,为计算机视觉和机器学习提出更好的彩色映射方案,提出了一种新的映射机制——Turbo。它可以有效除了伪细节、错误的颜色带,并为色盲人士提供更为准确的信息。Turbo针对多种可视化任务进行了手工调教,确保对视觉信息进行有效呈现。

有效的Turbo映射

研究人员为了构建Turbo映射,利用一个简单的交互界面来利用七节点的三次样条对sRGB曲线进行调整,并与其它颜色映射进行比较。

这种方式创建的Turbo颜色映射可以在保持曲线C2连续性的同时进行控制。虽然最终的颜色结果不是感知线性的,但它比jet更为平滑,不会引入错误的细节。


与其他颜色映射的比较

Viridis是一种具有代表性的颜色映射方法,因为它对于人眼比较适宜同时能修复某些Jet映射的问题。Inferno具有Viridis线性特性的同时还具有更高的对比度,使得细节能够得到更好的展现。然而,这些色彩映射会产生一些刺眼的视觉效果,虽然在出版业中没有太多影响,但确实会影响人们基于伪彩图进行的决策。

由于颜色和强度的剧烈变化,Jet相较于Viridis和Inferno会削弱背景的细节,最终基于数据呈现出的图像会让人眼遗失很多细节。而Turbo则通过非线性映射将背景进行了强化。下图中可以看到在Inferno中远处的背景几乎无法看清,而Turbo映射中远处的背景数目则依然为人眼所见。

Turbo模拟了Jet的光强特性,映射的强度从低到高在从高到低,但却没有显著的强度带阻隔。下图显示了四种不同颜色银蛇的强度值曲线,可以看到Turbo的强度值基本对称分布,使得它在单侧的斜率几乎是Viridis和Inferno的两倍,在高地两侧将有效的提升对比度。同时低侧的斜率和高侧的斜率不同,这是因为人类感知的蓝色比红色更强。

虽然这种低高低的曲线可以增强细节,但却会造成强度的模糊。将彩色图转换为灰度图时会造成较低的值与较高的值得到相同的取值,这意味着Turbo不适合于灰度打印也不适合于罕见全色盲人士。

语义层

计算机视觉对于视差图的检验一般通过图像中不同区域来实现。这种比较对人类来说,彩色比黑白更加有效和精确。

利用Jet和Turbo来说,由于颜色更为丰富可以很轻易地识别出图像中左右两边在相同深度的球和环,但在Viridis或Inferno可区分的颜色较少,则难以确认左边的球对应右边的哪个相同深度的环。与Jet相比Turbo则更为平滑,同时没有明显的颜色带痕迹,从下图的量化中可以更好的看到Turbo(左)的平滑效果。

快速评估

当快速评估两张图像时,基于颜色的比较要比基于强度的比较更容易。例如在单图像深度估计任务中,基准图像与预测图像间的比较,Turbo颜色相较于Viridis就更容易区分和辨别误差。

此外也可以迅速的人工得到定量的数值,因为强度被映射到了一些常见的颜色上。

偏差图应用

Turbo颜色映射同时可以有效用于图像差异的显示。在使用过程中可以将零值设置为绿色、负值偏蓝、正值偏红。但负值侧会比正值侧更暗,并不是完全的平衡,但仍然能够有效地显示图像间的差异。

色盲友好性

研究人员同时还利用色盲模拟器对这种新的颜色映射进行测试,结果表明除了全色盲人群外Turbo可以保持具有显著区分和平滑的颜色。针对全色盲来说,由于低值区和高值区的灰度可能类似会造成一定的感知模糊。由于全色盲在人口中的比例是三万分之一,所以这套色彩映射可以有效覆盖99.997%的人群。

Turbo作为作为Jet的替代品,对于高对比度、视觉平滑等方面进行了有效处理,可以应用于深度图等表示绝对值的图像也可以应用于表示差异的伪彩色图像中,使其具有平滑的视觉效果、对比度更好的细节、更好的语义感知以及差异分析等优势。开发人员同时推出C/CPP和python接口,同时也给出了多项式近似供开发者使用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    5970

    浏览量

    103395
  • 计算机视觉
    +关注

    关注

    8

    文章

    1606

    浏览量

    45676
  • 机器学习
    +关注

    关注

    66

    文章

    8167

    浏览量

    130851

原文标题:色盲不盲,谷歌提出更清晰的可视化颜色映射Turbo

文章出处:【微信号:thejiangmen,微信公众号:将门创投】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    谷歌提出大规模ICL方法

    谷歌DeepMind团队近日取得了一项突破性的研究成果。他们提出了强化和无监督两种新型的ICL(In-Context Learning)学习方法,这一创新技术能够在多个领域显著提升模型的性能。
    的头像 发表于 05-14 14:17 99次阅读

    一种利用光电容积描记(PPG)信号和深度学习模型对高血压分类的新方法

    使用的方法将在以下部分中详细阐述。 AlexNet是一种深度卷积神经网络,由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年提出。整体结构由5个卷积
    发表于 05-11 20:01

    商汤科技推出6000亿参数大模型,全力对标GPT-4 Turbo

    稍晚些时候,商汤科技发布公告称,4月23日在上海临港AIDC举办技术交流日活动,推出了6000亿参数大模型(日日新5.0),其知识、数学、推理和代码能力均有显著提升,综合性能可媲美GPT-4Turbo
    的头像 发表于 04-25 10:11 152次阅读

    谷歌交互世界模型重磅发布

    谷歌模型
    北京中科同志科技股份有限公司
    发布于 :2024年02月28日 09:13:06

    SpyGlass®Lint Turbo结构用户指南

    电子发烧友网站提供《SpyGlass®Lint Turbo结构用户指南.pdf》资料免费下载
    发表于 12-21 09:48 0次下载

    mybatis映射文件的主要元素及作用

    MyBatis是一种流行的持久层框架,它提供了一种简单的方式来映射关系型数据库和Java对象之间的关联,通过XML配置文件来描述数据库表和Java类之间的映射关系。在MyBatis的
    的头像 发表于 12-03 14:56 1324次阅读

    ad4001的三线turbo模式怎么理解?

    三线turbo模式的示意图上将SDI引脚直接拉高了;但从手册上看,ad4001需要通过SDI引脚写寄存器来配置成turbo模式。 所以SDI引脚到底需不需要被控制呢?
    发表于 11-30 06:02

    常见的ARM架构分为两一种是M系列另外一种是A系列,这两有什么区别啊?

    现在市面上常见的ARM架构分为两一种是M系列另外一种是A系列,这两有什么区别啊,用的时候他们般分别用在什么地方啊。
    发表于 10-26 07:00

    一种可用于单片机的中断高效处理与事件机制方法

    一种可用于单片机的中断高效处理与事件机制方法
    的头像 发表于 10-17 15:08 504次阅读

    请问IAR中的sizeof是一种运算符吗?

    IAR中的sizeof是一种运算符吗?是怎么实现的?
    发表于 10-08 06:44

    一种结构化道路环境中的视觉导航系统详解

    根据结构化道路环境的特点提出了一种将边沿检测和道路环境知识相结合的机器视觉算法 , 并结合基于行为响应的路径规划方法和智能预瞄控制方法 , 实现了套基本的机器人视觉导航系统 . 在自主机器人实验
    发表于 09-25 07:23

    一种嵌入式Linux系统多重备份与恢复机制

    提出了一种嵌入式 Linux系统多重备份与恢复机制。采用在片NAND Flash 上划分多个系统镜像区(包括内核和文件系统),在U-Boot和系统镜像中添加多重备份与恢复
    发表于 09-20 07:01

    LabVIEW中的映射表是什么?

    在了解映射表的概念之前,我们需要先明确映射的概念,映射是一个数学名词,它指的是集合与集合之间的一种对应关系:集合A中的每一个元素都在集合B中存在与之对应的元素。
    的头像 发表于 07-21 10:14 3052次阅读
    LabVIEW中的<b class='flag-5'>映射</b>表是什么?

    一种超高效率和高功率密度的PFC和AHB反激变换器140w PD3.1适配器应用程序

    本文提出了一种超高效率、高功率密度的功率因数设计校正(PFC)和非对称半桥(AHB)反激变换器140w PD3.1适配器应用程序。在升压PFC设计中,采用了GaNSense功率ic,以实现更高的频率
    发表于 06-16 08:06