现在科技进步很快，新技术层出不穷，各种各样的“黑科技”经常蹦出来，我们先来看看下面这两个。
在很多的影视剧作品中，我们都曾看到过这样的场景：案件调查人员通过技术手段，将摄像头捕捉的模糊图像放大，形成更为精细、清晰的图像，帮助识别嫌疑人。然而遗憾的是，现实中的技术还远达不到能够将低分辨率图像“收放自如”形成人眼能够识别的高清图像。
让低分辨率图像精细化成像
但谷歌近日公布的一项研究成果，则可能让上述那些只存在于影视剧作品中的“神奇”真正成为现实。谷歌人工智能研究部门谷歌大脑近日发布了一篇研究文章，再度展示了人工智能技术的强大功能，通过对深度神经网络技术的应用，可以将低分辨率的图像放大成高清晰度、精细化的人眼可识别图像。
该项研究具体是通过两个同时运行的神经网络来实现，一个被称为“条件网络”，另一个被称为“优先网络”。“条件网络”通过对低分辨率的图像和相似的高分辨率的图像进行比照，并描绘出粗略的框架。“优先网络”则用于分析图像中的像素点，并在低分辨率图像的基础上进行细部像素的细化。简单来说，两者是通过在宏观和微观上的结合，来实现最终结果的最优化。
在进行该项实验时，谷歌的研究人员运用了包含超过20万名人头像的CelebFaces Attributes Dataset数据集和超过300万图像的“卧室”照片数据集，通过这些大量的数据，不断训练模型，使其结果不断优化。
经过大量数据训练后的模型最终能够实现低分辨率图像的高清精细化还原，例如在上图中，将8×8分辨率的图像输入后，模型能够输出32×32的图像。可以看出模型绘制出的较高分辨率的图像与真实图像之间的差异从肉眼来看已经很难分辨，很大程度上实现了将低分辨率图像高精细化的目的。
作为实验效果测验的一部分，谷歌研究人员还将真实图像和模型绘制出的图像同时呈现给其他工作人员，让他们给出哪些是模型绘制图像，哪些是真实拍摄的图像的判断，测试结果是50%的参与者认为模型绘制出的图像已经很好地模拟了真实图像，以至于难以分辨这两者。
研究人员给出的实验结论是，在单独使用“条件网络”进行绘制图像时，效果不如在此基础上同时运用“优先网络”那么好，“优先网络”能够使得“条件网络”在无法准确预测局部细节时，进一步优化细节，产生更为精细的预测结果。
毫无疑问，这项技术在未来一定有着非常广泛的应用前景和实际价值，但需要指出的是，目前该技术依然处在非常初期的阶段，训练数据目前仅限于“人脸”和“卧室”图像，但这实际上也是“有监督学习”的人工智能研究目前普遍所需要面临的必经阶段，即任何实际的人工智能技术的应用，都要基于大量数据的训练和模型的不断优化。
手机拍子弹出膛不是梦
自从去年2月索尼IMX318发布后，影像巨头索尼公司已经有一年时间没有推出令人眼前一亮的感光元件（CMOS）了。即便去年和国内少数手机厂商合作定制了诸如IMX386和IMX398这样的CMOS，但终究还是原有在售CMOS基础上的小改款而已。
索尼在其日本官网上发布消息称，它们研发出全球首款三层堆栈式CMOS。这款CMOS相比原有的堆栈式CMOS增加了DRAM层，大幅提高CMOS的数据处理能力，令其可以拍摄最高1000fps的超慢速视频。那么下面就跟大家介绍一下这款索尼最新的CMOS吧，虽然索尼现在还没给它起好名字。
首先用一张列表介绍一下这款全新的索尼CMOS基本参数：
索尼全新三层堆栈式CMOS的主要参数（来源索尼日本）
由于这款新感光元件还在开发期没有商用，索尼暂时没有为其正式命名。从规格上看，这款CMOS的像素值为2120万，最高可以拍摄5520*3840分辨率的图像。CMOS对角线长度7.73mm，尺寸1/2.3英寸，单个像素面积为1.22μm。支持1/120秒内读取1930万像素图片并拍摄最高1000fps的超慢速视频，架构为传统的拜耳阵列。
主流索尼Exmor RS堆栈式CMOS的参数对比
从上面的参数来看这款CMOS将主要发力点放在了高速处理和视频拍摄上面。从静态图像参数上讲，2120万像素的数字在索尼自家的Exmor RS CMOS中也属于比较靠前的位次，1/2.3英寸的CMOS面积同样位次靠前，可以提供相对不错的画质输出。单位像素1.22μm不及自家一些1.44μm的产品，与HTC的UltraPixel 2μm相比也有不小差距。拜耳阵列是传统的RGBG结构，与IMX298和IMX398的RGBW架构不同，所以综合来看在进光量上面可能会吃一些亏。
背照式CMOS（左）与堆栈式CMOS（右）（图片来源索尼日本）
早在2012年8月索尼就推出了堆栈式CMOS架构，它使用有信号处理电路的芯片替代了之前常见的背照式CMOS图像传感器中的支持基板，在芯片上重叠形成背照式CMOS元件的像素部分，从而实现了在较小的芯片尺寸上形成大量像素点的工艺。由于像素部分和电路部分是独立设计的，因此像素部分可以针对高画质优化，电路部分可以针对高性能优化。
堆栈式CMOS（左）与加入DRAM层的三层堆栈式CMOS（图片来源索尼日本）
这次，索尼将CMOS架构做出了调整，在像素层和电路层之间新加入了DRAM层（动态随机存储单元），这一部分在整个CMOS模组当中充当缓存角色，用于存储像素层获取到的图像信息，因此大幅提升了传感器处理数据的速度。根据索尼方面的数据，新CMOS可以在1/120秒内读取1930万像素的图片，这个速度比自家的旗舰级CMOS IMX318快上4倍。
加入DRAM层的索尼最新三层堆栈式CMOS横断面（图片来源索尼日本）
同时，虽然数据处理速度大幅提升，但DRAM层的加入并没有对整个CMOS模组的能耗造成拖累。加上依旧保持堆栈式CMOS体积小的优势，可以被应用在某些追求超纤薄的智能手机上面，符合智能手机整体纤薄化的发展趋势。
工商网监
用户评论（0）