爱芯派Pro助力大模型落地探索

近日，2023北京微电子国际研讨会暨IC WORLD大会在北京举办。大会以“凝芯聚力，奋楫扬帆”为主题，全面整合集成电路行业资源，汇聚百余位专家学者和企业领袖，助力集成电路产业向聚集化、链条化、高端化方向发展。

在大模型与智能计算芯片专场分论坛上，爱芯元智联合创始人、副总裁刘建伟受邀发表主题演讲，向与会嘉宾分享了爱芯元智在边端智能的落地实践，高性能的爱芯通元混合精度NPU和开发者套件爱芯派Pro受到关注。

专注感知与计算

布局三大业务线推动普惠智能

作为华北地区代表性的集成电路大会，北京微电子国际研讨会暨IC WORLD大会以极具权威性、专业性、前瞻性的高水平产业与学术交流，对促进北京乃至中国微电子产业的国际交流与合作发挥了重要作用。此次大模型与智能计算芯片专场分论坛即由北京半导体行业协会联合多家智能计算芯片企业共同呈现，探讨了大模型时代的半导体产业新机遇。

“人工智能将来一定是云、边、端的分布，端侧和边缘侧智能可能还会更加广泛。”刘建伟在分享中表示，未来人工智能不仅仅停留在云端，而是将下沉到智慧家庭、智慧工厂、自动驾驶等多个端侧边缘侧场景，甚至每个人都可能拥有一个AI助理。作为专注感知与计算，支持边缘侧和端侧智能的平台型芯片公司，爱芯元智认为，感知即以AI的方式打造物理世界的数字化入口；计算则是对感知形成的大量数据进行处理，用AI算法对数据做高效利用。

自2019年成立以来，爱芯元智已推出了四代多颗端侧边缘侧AI视觉处理芯片，全面布局智慧城市、智能驾驶和智能IoT三大领域。其中，在智能驾驶领域，爱芯元智从量产化思维出发，目前专注于L2和L2++赛道，推出了ADAS前视一体机、行泊一体域控制器、CMS等车载应用场景解决方案；在智能IoT领域，爱芯元智则为未来机器人行业发展，赋予更多可能。

从智慧城市到智能驾驶再到走入千家万户的智能机器人，普惠智能发展前景广阔。刘建伟在分享中进一步指出，在降本、数据安全和隐私保护等挑战之下，本地算力的需求不断上涨，这对芯片的设计研发提出了更高的要求，而差异化的产品、更极致的性价比、数据隐私安全问题的突破，也将为芯片企业带来更多机会。

两大核心技术引领

爱芯派Pro助力大模型落地探索

面向感知与计算，爱芯元智推出了爱芯智眸AI-ISP和爱芯通元混合精度NPU两大自研核心技术。

爱芯智眸AI-ISP是爱芯元智首创且业界最早实现商业化量产的AI-ISP技术，其将ISP中的重要模块如降噪等进行AI化，打破传统成像天花板。在城市夜景拍摄、矿车ADAS、夜间农田等复杂场景下，爱芯智眸AI-ISP能有效进行色彩还原、暗光降噪，让“黑夜如白昼”，让摄像头“看得清”。

爱芯通元混合精度NPU则基于应用、算法、硬件的协同设计，实现了全方位的性能优化，低成本、易使用。据介绍，爱芯通元混合精度NPU是一个异构多核系统，且支持超线程和混合精度，其中混合精度减少了内存墙和功耗墙的阻碍，从而能在端侧、边缘侧成本受限的情况下提供充沛的有效算力，支持更多智能算法。

同时，爱芯通元混合精度NPU工具链也高效易用，具有功能完善、PTQ量化精度高、算子支持丰富、原版模型支持等突出优势。刘建伟表示，“有客户从零基础开始写code到能在开发板跑出第一组结果，大概只用了一小时”。

实测数据显示，爱芯通元混合精度NPU在部署传统的CNN网络和当下大模型普遍采用的Transformer网络时都有着明显的性能优势。其中，Transformer网络SwinT在爱芯元智第三代高算力、高能效比的SoC芯片AX650N上更表现出色，361 FPS的高性能、80.45%的高精度、原版模型且PTQ量化的易部署能力及199 FPS/W的低功耗，使得AX650N成为Transformer在端侧、边缘侧落地首选平台。

此外，为加快AI在端侧、边缘侧的开发落地效率，爱芯元智还携手硬件生态伙伴推出了开发者套件爱芯派Pro。值得一提的是，爱芯派Pro可满足行业对高性能边缘智能计算的需求，帮助用户快速进行产品原型验证和二次开发，更好地探索Transformer大模型的落地。

未来，爱芯元智将继续专注感知与计算，不断深入智慧城市、智能驾驶和机器人等业务场景，加速AI在端侧、边缘侧的落地发展，让普惠智能真正走入生活的方方面面，造就更加美好的生活。

审核编辑：彭菁