0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用来拍照的不再只是镜头和传感器了,背后还加载着图像算法

新机器视觉 来源:ednchina 作者:ednchina 2021-03-20 10:04 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~ >>>>

人类进入智能手机时代后,摄影方式也发生了巨大变化:用来拍照的不再只是镜头和传感器了,背后还加载着一系列的图像算法,它可以用更快的速度处理图像,并获得更好的拍摄效果。

好作品只能依赖专业摄影师的时代过去了,图像算法引入到手机拍照应用后,让人人拍出好照片成为可能。

更好的手机拍照效果需要图像算法的加持,为了让大家有更好的了解,接下来的系列,我们准备了几篇科普、视频和图说,一起来看看吧~~~

这事得从人类对色彩的感知能力说起…

人类对色彩的感知能力是漫长进化过程中产生的一项重要能力,它使得我们眼中的世界五彩斑斓。颜色是怎么呈现出来的呢?它是光线通过眼睛成像到视网膜上,由视网膜上的视细胞感知光信号的强弱,视觉神经对信号的传播,再由大脑处理所产生的视觉感受。颜色的产生极其复杂,人类所获得的色彩感受不但取决于光的物理特性,还受心理等因素影响。

首先,我们先来了解一下颜色的物理特性。肉眼所见到的光线(一般波长范围是380-780nm,见图1),是电磁波谱中人眼可以感知到的部分,不同波长的可见光表现为不同的颜色,对色彩的辨别是肉眼受到可见的电磁波辐射能刺激后引发的视觉神经感觉。

图1:可见光波长及其对应的颜色

人眼中对光敏感的细胞分为两类:视杆细胞和视锥细胞。其中,视杆细胞对弱光线最敏感,光谱响应范围覆盖整个可见光区域,在500nm附近达到相应的峰值,但无法区分不同的波段的光线,因此无法产生色觉。在非常低的光照水平下,这样的视觉叫做暗视觉,暗视觉仅视杆细胞在工作。所以在黑暗的夜晚,人们能看到物体,却分辨不出物体的颜色。

在高光照水平下,主要工作的是视锥细胞,有色觉,这样的视觉叫明视觉。视锥细胞分为三类:感红细胞(L) 、感绿细胞(M)和感蓝细胞(S)。对同一波长的光线,不同的视锥细胞有不同的响应能力(见图2),因此视锥细胞具有颜色的辨别能力。

图2:三种视锥细胞对光的响应能力

光源发射某一光谱分布的电磁波,经过物体的反射或者透射进入人眼,再通过视锥细胞对光线的探测,这整个过程涵盖了颜色的物理属性。颜色同时受到人们的心理、现实经验等因素的影响,某个场景的光在视细胞产生的信号并不等于人们对这个场景的感受。例如,一张白纸不管在红色还是绿色灯光下,人眼看起来都会觉得这是一张白纸,这来源于大脑的经验处理,这种现象叫做颜色恒常性。

可以说,你看到的景色都是经过大脑处理加工过的,眼见并不一定为实哦~

图像算法最大的用途是可以修复照片,使拍摄到的照片获得真实的色彩效果,或者满足用户的某些色彩偏好。

【自动白平衡】

在展锐的ISP(Image Signal Processing)系统里,主要有自动白平衡(AWB)和颜色校正(CCM)模块来处理色彩。

先看自动白平衡,ISP系统需要根据图像的统计信息,计算出图像R、B channel的增益,以实现自动白平衡功能,以求在各种复杂场景下均能准确还原物体本来的颜色。因为人类视觉系统具有颜色恒常性的特点,对事物的观察可以不受光源的影响,但图像传感器不具有这个特点,因此在不同光线下拍摄的图像,会呈现出不同的颜色。比如,在晴朗的天空下拍摄的图像可能偏蓝,而在烛光下拍摄的物体可能偏红。

自动白平衡功能,就是模拟了人类视觉系统的颜色恒常性特点,来消除光源对图像成像的不良影响。

图3 :左边是自动白平衡功能关闭,右边是自动白平衡开启

紫光展锐的自动白平衡算法具有以下特点:

效果稳定性好:所谓效果稳定性,指的是拍照场景发生细微改变时,图像色彩效果不会出现明显跳变。

准确度高:展锐的算法在处理绝大部分场景时,都能得到符合预期的结果,尤其是用户关心的蓝天、绿植、人物等等重点场景和混合光源、纯色、夜景等难点场景。

适用范围广、灵活性好:展锐的算法既可以运行在入门级相机设备上(如30万像素的手表项目)上,也可以运行在中高端相机设备上(如3200万像素以上的手机项目),还可以应用到车载记录等物联网领域中。而且,不同产品,展锐的自动白平衡算法可以实现灵活配置,实现算法效果、算法复杂度、内存消耗等多样化的分级需求。

【颜色校正】

相机实际是在模拟人眼的彩色成像来拍图,由于相机传感器的RGB三通道的光谱响应与人眼中视细胞的光谱响应(见图2)不同,导致其拍摄的图片与人眼看到的有差别,因此需要进行颜色校正(Color Correction Matrix,CCM)。

颜色校正矩阵一般通过标定得到,利用图像传感器拍摄得到的图像与标准图像相比较,计算得到校正矩阵(即CCM矩阵)。利用CCM矩阵对图像的各像素点的进行验收校正,以获得最接近于物体真实颜色的图像。

一般情况下,在颜色校正过程中,都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度,其色彩的纯度越高,图像表现越鲜明;纯度越低,表现就越黯淡。

图4 :左边是CCM关闭,右边是CCM开启

图5:展锐CCM模块的色彩还原效果评测

(图中18个小圆点和小方点越接近,则表示色彩还原性越好)

随着机器学习等高新技术的发展,以及用户对手机拍照功能的需求日益苛刻,色彩还原技术也会面临一些新的机遇和挑战,例如如何利用AI技术提升色彩还原效果,如何在多摄像头手机上实现更加一致的色彩还原。这些附加技术将给用户带来更好的手机拍照体验,进而持续提升公司产品的竞争力。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算法
    +关注

    关注

    23

    文章

    4760

    浏览量

    97144
  • 图像
    +关注

    关注

    2

    文章

    1095

    浏览量

    42157
  • 机器学习
    +关注

    关注

    66

    文章

    8541

    浏览量

    136233

原文标题:手机拍照进化论:为什么需要图像算法?

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    onsemi AR2020图像传感器:低功耗高性能的理想之选

    在当今的图像传感领域,对高分辨率、低功耗且具备出色性能的传感器需求愈发迫切。onsemi的AR2020图像传感器,作为Hyperlux LP
    的头像 发表于 11-27 14:10 157次阅读

    STEVAL-66GYMAI MIPI CSI-2图像传感器套件技术解析

    包含从电子元件到光学元件的所有必要硬件,用于进行全面的产品评估或将产品立即集成到系统的其余部分中。该套件包括一个传感器板,内置VD66GY图像传感器(带FFC输出连接)、一个M12
    的头像 发表于 10-20 11:15 273次阅读
    STEVAL-66GYMAI MIPI CSI-2<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>套件技术解析

    STEVAL-56G3MAI图像传感器套件技术解析与应用指南

    包含从电子元件到光学元件的所有必要硬件,用于进行全面的产品评估或将产品立即集成到系统的其余部分中。该套件包括一个传感器板,内置VD56G3图像传感器(带FFC输出连接)、一个M12
    的头像 发表于 10-20 10:47 250次阅读
    STEVAL-56G3MAI<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>套件技术解析与应用指南

    工业相机传感器CCD的原理及基础知识

    感光传感器通常是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。下面主要探讨CCD传感器的原理及应用。1、工业相机工作原理图像采集:通过镜头收集被拍摄物体
    的头像 发表于 10-13 17:37 1184次阅读
    工业相机<b class='flag-5'>传感器</b>CCD的原理及基础知识

    思特威推出高性能CMOS图像传感器SC562HS

    近日,技术先进的CMOS图像传感器供应商思特威(SmartSens,股票代码688213),全新推出5000万像素1μm像素尺寸手机应用CMOS图像传感器——SC562HS。
    的头像 发表于 09-01 17:13 4972次阅读

    华怡丰推出ISC-B/C系列图像识别传感器

    在工业自动化领域,精准、高效的视觉检测是提升生产效率的关键。华怡丰全新推出的ISC-B/C系列图像识别传感器集高精度定位、测量算法与先进图像处理技术于一体,为各类工业场景提供稳定、可靠的解决方案!
    的头像 发表于 08-15 11:36 1462次阅读
    华怡丰推出ISC-B/C系列<b class='flag-5'>图像识别传感器</b>

    东芝推出镜头缩小型CCD线性图像传感器TCD2728DG

    东芝电子元件及存储装置株式会社(“东芝”)今日宣布,推出一款面向A3多功能打印机的镜头缩小型[1]CCD[2]线性图像传感器“TCD2728DG”。这款传感器内置7,500个
    的头像 发表于 08-12 09:22 1533次阅读
    东芝推出<b class='flag-5'>镜头</b>缩小型CCD线性<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>TCD2728DG

    CMOS图像传感器的制造步骤

    CIS 英文全名 CMOS (Complementary Metal-Oxide Semiconductor) Image Sensor,中文意思是互补性金属氧化物半导体图像传感器。CMOS 图像
    的头像 发表于 06-18 11:40 1324次阅读
    CMOS<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>的制造步骤

    贸泽开售ams OSRAM Mira016 CMOS NIR图像传感器

    图像传感器。Mira016图像传感器是一款紧凑型 (0.16MP) 增强型近红外 (NIR) 全局快门图像
    发表于 05-13 15:20 1985次阅读

    OV9281 CMOS图像传感器英文手册

    电子发烧友网站提供《OV9281 CMOS图像传感器英文手册.pdf》资料免费下载
    发表于 03-07 09:23 6次下载

    IMX490 索尼图像传感器

    图像传感器
    jf_97060913
    发布于 :2025年03月04日 10:34:41

    ​智能驾驶背后的“感官世界”:盘点6款被带火的传感器

    。今天,我们就来盘点一下那些被智能驾驶带火的传感器。 1. 摄像头:汽车的“眼睛” 摄像头是智能驾驶系统中应用最广泛的传感器之一,它能够捕捉丰富的视觉信息,例如车道线、交通标志、行人、车辆等。通过图像识别
    的头像 发表于 02-13 15:13 1338次阅读
    ​智能驾驶<b class='flag-5'>背后</b>的“感官世界”:盘点6款被带火的<b class='flag-5'>传感器</b>

    如何评估CMOS传感器的性能

    能够捕捉到更多的细节。 像素数量 :像素总数是衡量CMOS图像传感器的主要技术指标之一,直接决定传感器的分辨率以及图像的清晰度。像素数量越
    的头像 发表于 01-20 15:26 1531次阅读

    CMOS传感器图像处理能力

    的光敏元件组成,每个元件对应图像中的一个像素。当光线照射到传感器上时,光敏元件会将光信号转换为电信号。这些电信号随后被读出并转换成数字信号,以便进行进一步的处理。 图像处理能力的构成 1. 硬件性能 像素数量和尺寸 :像素数量决
    的头像 发表于 01-20 15:19 1277次阅读

    索尼图像传感器出货量突破200亿

    索尼半导体制造公司近日传来喜讯,其索尼图像传感器的出货量已经成功突破了200亿个大关。 自1983年起,索尼便开始CCD图像传感器的生产之
    的头像 发表于 12-19 13:34 930次阅读