爱芯元智的AI ISP梦想 帮助更多人解决边缘侧高清视频优化的难题

很多玩直播的人、或是看直播可能会有切身的体会。咱们在看直播的时候，如果是视频效果稍有不佳，就会有着随时切换直播间的念头。咱们自己在做直播的时候，一觉得自己的直播间视频没有别家好，就会想着提升自己的装备，例如增加补光灯、配备更好的相机镜头，或是换一台更强大功能的智能手机，来做直播。总之，视频直播党渐渐地都变成了装备党。

目前我所用过的很多旗舰手机，在夜景或强光下，拍照效果还是很不错，但视频的时候噪点太多，画面时好时坏，或是人脸的肤色失真，自己都对自己不满意，主动给视频后期师加鸡腿。但是直播中加鸡腿给摄影师也没有用，装备不给力，摄影师也只能说，“臣妾也做不到”。

由此看来，这一块用户需求很刚，但智能手机厂商也是有力使不上。毕竟，关于视频AI优化的技术，远比图像AI优化的难度大。再加上这种特别的需求，目前也就在中国需求最广最强。因为中国的美图优化好多年以来，已经宠坏了用户。不加美颜给美女帅哥拍照，那简直是不懂礼节，不P图就发朋友圈，完全是不讲武德。

还好，咱们手机厂商、拍照直播类APP厂商，也是很懂用户需求的。手机大厂这些年，也不知道是雷总还是余总带的头，都是特别宠粉。所以粉丝提的需求，都是一律都不遗力的支持。这不风水转到了视频优化这个阶段了，谁能先上个边缘侧的AI ISP，明显提升视频优化的算力与算法，那谁就有可能独得粉丝的宠爱。

与之类似的，关于视频AI算法能力的需求，推广到智慧城市、智慧社区、自动驾驶或是智能制造等领域，对于高清视频ISP的算法优化上，其需求现在看，技术天花板也都看不到上限。

图：爱芯元智半导体（上海）有限公司 创始人兼首席执行官仇肖莘

电子发烧友网记者日前专访了国内专门做AI ISP芯片的初创公司爱芯元智半导体（上海）有限公司 创始人兼首席执行官仇肖莘，她从多个角度深入地解答了我们的问题。访谈中我们了解到，目前做视频处理的芯片公司中，爱芯元智的独门AI绝技，可能还远不止于消费级应用的蓝海级市场。下面是电子发烧友网的采访报道。

2021年9月，AI视觉芯片研发及基础算力平台初创公司爱芯科技正式更名为爱芯元智半导体（上海）有限公司（简称为“爱芯元智”），并宣布完成品牌升级。爱芯元智成立于2019年5月，专注于打造高性能、低功耗的人工智能视觉处理器芯片。核心技术产品支持多种AI视觉任务，广泛适用于智慧城市、智能社区、智能驾驶、智慧零售、智能家居、智能穿戴等多个领域。爱芯元智自主研发的第一颗AI视觉处理芯片AX630A已在2020年12月实现量产，第二颗芯片AX620A也已经于2021年7月成功点亮，即将开始正式的客户推广。

仇肖莘博士本身就是一个手机通信行业的高级技术与管理人才，有着非常传奇的个人职业经历。

下面是电子发烧友摘选爱芯元智公司的对外宣传资料。

仇肖莘博士1991年毕业于清华大学自动化专业，并获得硕士学位，随后前往美国南加州大学完成电子工程博士学位。先后担任美国博通公司副总裁，紫光展锐首席技术官。

2019年5月创立并担任爱芯元智半导体（上海）有限公司（原爱芯科技）首席执行官，作为公司最高负责人，领导研发AI SoC芯片——能够广泛应用于智慧城市、智能社区、智能驾驶、智慧零售、智能家居、智能穿戴等多个领域。

仇博士在Fortune 500 公司有20年以上研发及管理经验，曾担任重要岗位负责人，带领过大型国际化团队。精通公司业务发展战略，兼具极强的研发及团队、项目管理能力，对公司业绩做出过突出贡献。其在SoC芯片研发、系统架构，及整体技术平台解决方案方面具有极强的专业知识和丰富的经验。

2008年仇肖莘博士当选美国博通公司杰出工程师（在研发人员中占比小于0.5%），被Broadcom内部人才管理体系评为“顶级明星”；曾作为Broadcom CEO及其管理团队的技术顾问，深度参与技术路线制定，M&A项目的技术调研。

Featured engineer in National Academy of Engineering’s Celebration of Women Engineering.

AT&T Labs - Research(前身贝尔实验室) 研究卓越奖。

正是因为有在博通和紫光展锐的手机SoC芯片部门的研发与管理经验，仇总对于手机厂商的硬件需求特别熟悉。所以爱芯元智可以在一年左右的时间就一次性成功流片高端的AI SoC，并且获得了晶圆厂的产能支持。

仇总介绍，爱芯元智（原爱芯科技）是一个AI视觉芯片研发及基础算力平台公司。其产品策略跟国内众多的视频处理器公司或ISP公司不同的是，公司第一颗芯片就是做行业最强最高的芯片技术，匹配市场中的高端应用。由于众所周知的原因，智慧城市、智能交通等市场，出现了供货的真空期。面对如此巨大的市场，有多家芯片公司都在发力，但大多数公司，由于技术历史的原因，例如做平板、电视或显示器的企业，公司之前的技术积累主要在视频编解码，或图像显示端，或者说是GPU的能力很强，但ISP端并没有太发力。而爱芯元智从团队搭建开始，就是构建视频的ISP算法团队、NPU团队，并且重点在边缘侧，而不是云端。避免跟大算力大功耗的CPU和NPU竞争。

仇总表示，爱芯元智专注于高性能、低功耗的人工智能处理器芯片研发，并自主研发面向推理加速的神经网络处理器IP （NPU IP）。

目前，爱芯内部负责芯片设计、AI算法和应用开发的研发员工人数，已近公司总人数的85%。随着AX630A的量产，研发团队已经开始跟头部首波客户一起合作，尽快做进客户的产品中，一起推到市场。

在头波客户需求成熟对接的同时，仇总和团队也在同步开发匹配市场主流应用定位的产品，从上往下做，把量做大业绩做大。同时为产品找到更多的应用市场，例如我们在文章开头所说的手机上的ISP视频AI优化的应用。

公开资料显示，爱芯元智通过神经网络提升画质，支持多种视觉任务开发。爱芯元智核心技术产品广泛适用于智慧城市、智能社区、智能驾驶、智慧零售、智能家居、智能穿戴等多个领域。基于算法、芯片、产品的垂直整合，爱芯元智为合作伙伴提供全栈式解决方案，帮助客户实现最新技术的快速落地。与此同时，公司制定了完善的产品路线图，覆盖高中低端市场，以满足客户不同场景的产品需求。

而智能手机或智能相机这类消费级的需求，爱芯元智既可以在后面推出更加灵活的合作方案例如IP级的合作，或是更低成本定制化的芯片。

在ISP方面，爱芯元智还引入了一位ISP行业的牛人张兴。张兴现在是爱芯元智半导体（上海）有限公司 ISP负责人、系统架构师。他的工作经验专注在ISP多年。据资料显示，张兴 自2013年开始，从事芯片及设备上ISP/camera相关设计经验，曾在多家世界500强的公司及tier-1芯片公司从事camera和ISP的系统设计工作；他具有丰富的算法设计经验，曾进行多个业界先进算法和方案的设计和改进，在camera领域有多项专利；他还是知名公众号“大话成像”创始人之一。

当然，我们不能说国内其他公司的ISP算法团队技术就不强。只是过去很多年，视频ISP的技术大牛国内并不多，而一些特别强大的团队在日本、欧洲等地。既要有AI NPU卷积的算法能力，也还要结合客户需求来不断推理训练。

爱芯元智第一颗芯片AX630A的实际亮眼表现

爱芯元智的AI芯片AX630A的特点是算法协同设计，每秒处理帧数可以达到 1356，远超市场水平。

在功耗方面，AX630A的算力是57.6TOPS@800MHz 2w4的功耗是3W左右。下一代的AX620A算力28.8TOPS@800MHz 2w4的功耗低于1W。

真实案例表现 1：夜间视频效果（人物已做面部隐私保护处理）

真实案例表现2：大规模智能分析检测识别能力

真实案例表现3：多路视频结构化智能分析能力

从案例3中可以看出，AX630A其实可以当作多路视频后端分析。

总结

目前来看，智慧城市市场确实属于芯片供应真空期，市场需求有AX630A这样的芯片，来支持相关的厂商。但作为一个曾经在博通、展锐这样的大公司SoC部门管理操盘过的大咖来说，能够做到更多的应用市场，尤其是智能手机、相机这样的海量市场，公司的前景会远超人们的预期。

文章开头是一个由电子发烧友网记者本人开启的话题，相信未来很快会有爱芯元智或别的公司进入来打开视频ISP的更广的应用空间。毕竟视频直播已经从娱乐级应用提升为生产力工具的级别，也就是说从柔性需求，上升到市场刚需。

今年市场上索尼用于直播的几款相机涨价缺货，也是直播业者的刚需猛涨。相信很多厂商已经看到了商机，无论是从手机端来改进，还是单独的可用于直播的相机品类的开发，都离不开ISP技术厂商的支持。电子发烧友网编辑会持续关注和报道这个赛道。