全新Arm ISP技术为智能设备打造更敏锐的数字眼

Arm宣布推出全新Arm Mali-C52 与Mali-C32图像信号处理器（ISP），通过完整的解决方案提供最高的图像质量，应对在智能物联网设备中实现实时的、更高图像质量的要求。

在人类五种感官中，视觉是进化程度最高、感受最丰富的感官，由200多万根神经纤维将视网膜的信息传送到大脑。过去数十年来，数字世界一直在努力试图超越我们的视觉处理能力。创建“数字眼”来处理实时的、更高质量的图像，让观众对环境有最真实的感受，这是Arm生态系统在致力于赋能一万亿台互联设备的过程中面临的众多挑战之一。

Arm预测，在所有互联设备中，对具有嵌入式视觉功能的物联网设备的需求是最高的:
•        到2021年，安全(监控)和IP摄像机市场的年增长率将达到20 %，届时出货量有望超过5亿台；
•        个人机器人年增长率达到75 %，预计2021年出货量将达到200万台；
•        预计到2021年，智能家居市场将以每年14 %的速度增长，规模将达8800万台，而无人机、增强现实( AR)/混合现实( MR )设备和运动摄像机等其它设备，正在从新兴产品转变为大众化产品。

将感知转化为像素

上述设备所采用的图像技术中，嵌入于设备中的ISP技术是其中的一个关键环节。在这些受到诸多限制的设备中，ISP的关键功能是在从图像传感器提取数据并处理每个像素时，提供最准确、最高质量的图像，而这一关键功能在涉及机器学习相关应用时尤为重要。全新Arm Mali-C52和Mali-C32处理每个像素时会进行超过25个步骤，其中三个关键步骤对图像输出质量起到了决定性的影响，包括高动态范围( HDR )、降噪以及色彩管理。通过整合Arm市场领先的Iridix技术与行业领先的其他降噪及色彩管理算法，Mali-C52与Mali-C32所配备的ISP技术能够在高分辨率和实时处理(例如4k分辨率及60fps帧率)的条件下，实现上述三项关键处理步骤。

高动态范围技术绝不遗漏任何图像细节

最能凸显高动态范围( HDR )功能必要性的情景，就是自安装在明亮室外环境中的联网安防摄像机中获取图像输出。在这一场景中，图像输出往往面临着同时处理较明亮部分与较深阴影部分的情况。虽然人眼可以自然地感知这些环境中的对比度，但数字传感器通常需要多次曝光才能获取场景准确的图像信息。为真实呈现HDR场景，图像技术要求达到每像素20或24位精度，但是数字系统显示技术通常为8位或10位，从而限制了系统能够处理的数据量。这也意味着ISP之后所整合的任何计算机视觉引擎都将被限制在8到10位精度范围内。在这种情况下，ISP需要在更高的位深度处理HDR数据，然后对其进行压缩并进一步利用。如果动态范围管理不当，阴影中的细节则会丢失。

全新Mali ISP采用Arm的动态范围管理和色调映射技术， 能够帮助用户克服设备限制，并获取经过加强的阴影细节，而完全无需额外修编或调整图像的明亮度。
 

完整且灵活的解决方案，加快产品上市速度

Mali-C52可针对图像质量和芯片面积这两种不同优化方向进行配置。这种灵活性允许芯片合作伙伴在一系列产品和应用场景中使用相同的IP和软件。Mali-C32则专门针对低功耗、成本敏感的嵌入式视觉设备进行了芯片面积的优化，如入门级门禁或民用业余级无人机。

这两个ISP均为完整解决方案，其中Arm提供硬件IP以及ISP软件驱动程序，包括3A库(自动曝光、自动白平衡、自动对焦)以及校准与调校工具。其功能和优势包括：
•        更高的ISP图像质量: Iridix技术能够提供适配人类视网膜级别对比度的精确模型，使摄像机能够像人眼一样识别高明暗对比的图像。
•        ISP每秒可以处理6亿像素，实现更高性能，这项关键功能意味着可以以高端智能手机级别的帧频拍出专业级的摄影质量(如DSLR)。
•        用于控制ISP、传感器、自动白平衡、自动对焦和自动曝光的完整软件包。另外还提供裸机和Linux ( Video4Linux框架- v4L2 )软件。
•        灵活的调校：使用一整套调校和校准工具进行客观和主观的调校。还提供专门的调校培训课程，以及针对特定应用场景和传感器的定制调校支持。

1万亿台设备需要敏锐的数字眼

Arm的愿景是赋能一万亿台需要视觉功能的设备。具体来说，要实现一万亿联网设备世界的愿景，需要为其中很多设备提供更敏锐的数字眼来观察和感知周围环境，以便为机器和人类提供可靠的信息来源。这一切都始于实现尽可能高的图像质量，Arm全新推出的Mali ISP正是为此而生。