AI视频监控芯片消费级逐渐成熟，复杂化场景还有哪些技术可以突破？

人工智能的发展带来了诸多领域技术上的颠覆性变革，视频监控行业从传统的高清化、网络化逐步升级为智能化，AI+视频监控成为人工智能技术商业化的突破方向之一。

根据行业调查数据显示，2020年全球安防摄像头出货量超过1亿台，其中2百万到5百万分辨率摄像机份额超过75%。Omdia预计，2024年中国智能视频监控市场将达到167亿美金，安防市场之大可以想象，由安防市场发展带来的视频监控芯片需求，也给安防芯片供应商带来了新的发展机会。

2010-2020年我国安防行业总收入（图源中研网）

视频监控摄像头从前端到后端都分布着不同的芯片，前端包括ISP芯片、图像传感器、IPC SoC芯片；后端涉及DVR SoC芯片、NVR SoC芯片。目前，国内消费级视频监控芯片和算法企业包括华为海思、富瀚微、君正、寒武纪、清微智能、地平线等。

随着智慧城市建设的开展，视频监控在智慧交通、公共安全、智慧工地等领域得到广泛的应用，并在安防行业中占据较大的市场份额，成为了构建安防系统的核心。经过十几年的发展，视频监控的ISP图像处理、视频编码、AI等技术在智能家居、智慧社区、智能驾驶等场景的应用相对成熟，消费类应用场景的技术也在不断提升，例如分辨率从4K往8K分辨率突破，此外对于双向语音使用较多，目前AI+视频芯片已经在回声消除、噪声消除等方面取得突破，不少芯片企业根据使用场景还增加特色AI方案，例如提供哭声检测、手势识别等。

但是人工智能的识别技术还存在着盲区，例如在夜间、阴霾天、雾霾天，沙漠无人区等复杂环境下，使用考验还是比较大的。那么面对阴霾、沙尘暴等恶劣天气，以及弱光监测环境，视频监控技术该从哪些方面做提升？

阴霾天、沙尘暴等恶劣天气，需要多种编码方式匹配编码场景

行业级摄像机一般用在城市公共安全、智能交通等领域。在晴朗天气时，图像传感器能够自动天气情况和亮度自行调节，实现在不同的光线强度下对监测画面进行AI识别、行为抓拍。但是在阴霾、雾霾等天气环境下，尽管监控设备能够对实现监测功能，在视觉体验以及准确度、识别率上都会有所下降。例如我国某些地区容易出现沙尘暴等恶劣天气给公共安全管理带来了一定困难。今年三月份，北京、河北、内蒙古等多地出现不同程度的沙尘暴，部分地区能见度不足500米。除了沙尘暴外，暴风雪的天气也给城市视频监控带来了技术上的挑战。

国内某视频监控行业的芯片IC公司相关人员向电子发烧友表示，行业级应用场景多样化，光线复杂化，在编码方面要求IPC SoC芯片要同时支持智能编码等多种编码方式匹配不同的编码场景，才能在各种场景下均能提供低码率，高画质的编码图像。

目前，已经有国内芯片厂商在行业类IPC SoC的性能上取得突破。例如清微智能针对视觉处理的多模态智能计算芯片TX510已于去年实现规模量产，出货量突破50万颗。可重构计算芯片因为可以依据应用和算法重构执行计算的硬件资源，所以具有按需即时重构、高能效、低功耗、可适用于多种场景的通用性特点。

清微智能动态可重构计算（CGRA）与传统“指令驱动”计算模式对比

恶劣光线环境下，图像处理算法的适配性需要不断优化

为了适应夜间的应用场景，夜视技术已经衍生出红外夜视摄像机、星光级夜视摄像机、黑光夜视摄像机。仅是“看得见”，还是远远不够的，夜间环境下，摄像机处于弱光环境下，对视野距离、动态追踪、智能算法的适配性都有一定的要求，如果要实现“看得清”，在图像处理方面需要针对低照度，宽动态，快速运动等场景进行优化。

业内人士表示针对HDR+、图像去躁、双光融合等AI算法的提升成为视频监控芯片企业进一步需要突破的方向。为此，已经有芯片厂商计划在AI芯片上应用最新一代ISP图像处理算法进行升级迭代。

国内摄像机芯片玩家瑞芯微就升级了IPC方案RV1126及RV1109，针对夜间光线复杂，人车混行，人脸、车流难以识别的痛点，从高清编解码、画质处理算法、高性能NPU等方面进行优化。据了解，这两款方案采用14nm工艺，内置NPU以及瑞芯微自研的ISP2.0技术，通过ISP画质处理技术，以及3帧HDR算法，在复杂光线环境下实现毫秒级自适应。其合作的AI算法公司包括商汤、旷视、虹软等。

瑞芯微IPC方案与其他方案对比效果（图源瑞芯微电子）

AI+视频芯片新拐点：算力提升、5G应用场景

国产芯片企业正在寻求一条能够在视频监控市场里能撕开自己市场的道路，对比大厂，根据不同场景提供差异化解决方案的能力成为企业的竞争优势之一。此外，视频监控芯片的应用场景不断延伸，应用需求朝着多样化的趋势发展，这也让企业不得不针对不同的应用市场给产品做优化方案。

AI芯片的算力性能不断进阶，2019年安防芯片的算力普遍是1T左右，2020年达到了2T，未来随着需求的变化，可能会往4T以及以上突破。清微智能TX510芯片在高算力和低功耗方面表现出色，AI有效能效比达5.6TOPS/W ，在实际应用中，启动时间不足200ms，单次人脸检测识别时间小于100ms。

清微智能CEO王博介绍，可重构计算芯片应用于图像信号处理的优势主要表现在：可以快速在芯片上实现最新的图像算法的同时，具备了更加强大的图像处理性能、更高的能量效率、更低的NRE，不仅能延长产品的生命周期，也给客户提供了定制ISP算法的可能。

此前，北京君正带来了安防AI芯片T40,据介绍，该芯片采用22nm制程，具备8T (NPU)硬件算力，可满足智能视频领域不断提高的AI处理能力。对于T40，北京君正表示目前处于客户推广阶段，仅有小批量出货。

近期，电子发烧友针对5G通信行业现状和未来趋势调查发现，大多数工程师认为智慧工业、智能家居、智能电网、智慧终端和车联网将是未来5G会爆发的热点应用。其中，34.1%的工程师认为5G在智慧工业领域的应用将会显著提升，工业数字化转型由此加速。

5G热点应用，智慧工业、智能家居、智能电网位列前三甲。

数据来源：电子发烧友网《2021年5G行业现状和未来趋势调研》

自5G商用正式开启，大量数据的产生推动视频监控需求增长，这开启了关于视频监控领域相关产业的更多想象空间。在智慧农业领域，可以通过监控技术部署一套AI解决方案，监测农作物的生产情况，产量新鲜度，通过应用程序跟踪和管理库存，实施相对应的供应链计划。在智慧工业领域，通过图像识别技术检测工作人员是否戴了安全帽、口罩，通过AI算法的行为检测对异常行为及时预警报告。在智慧物流领域，可以通过AI算法对监测到的画面进行分析，检测货物是不是受损。

王博表示，工业中的产品缺陷监测、安规测试，农业中的农作物病害检测、农产品无损检测等，线下零售行业的柜台监控等新兴领域都是接下来企业比较看好的一些应用方向。

结语：

业内报告显示，依托5G网络建设和部署，到2022年我国超高清视频产业规模将超4万亿元。尽管AI+视频监控发展前景备受青睐，但现阶段也存在着不少问题。

目前来看，AI在视频监控领域刚刚起步，特别是在一些to c的市场仍然处于比较浅的层次。以摄像头，门禁等硬件设备为载体，加载面向不同细分市场的AI应用，表现出碎片化，非标准等特点。另一方面，视频监控赛道不断加入新玩家，竞争加剧。王博表示，面对AI算法公司，如果传统芯片企业不转型，产品的单一性、同质化，会导致其陷入价格竞争的尴尬境地，被一些新的厂商所替代。

当下，“缺芯潮”尚未得到缓解，不少安防芯片、模组相关企业已多次调涨价格，安防设备涨价最高涨幅来到30%。在市场供不应求的情况下，相关SoC芯片也会面临一定幅度的价格上调。

整体来看，在AI、5G等技术的推动下，加之国家政策的制定，以及对市场的干预，都在推动视频监控行业朝着智能化、高清化的方向发展，视频监控芯片的图像识别、行为检测等技术也随之迎来较大的突破，并应用在更加广泛的场景中。未来，不管是在市场还是在技术、产能，AI+视频监控都会迎来新的拐点。