普惠AI的路上,有哪些难题困扰着业界?

普惠AI意味着为万物赋能，从云端到边缘的大势所趋也是AiRiA研究院作为AI芯片的后来入局者直接选择切入的方向。由于计算位置和形式的变化，让AI载体、设计思路都需要重新被定义。

云端的AI不受体积和功耗方面的束缚，可以在一定成本下做到极致的性能。然而在边缘端，AI载体（芯片）必须考虑终端场景的体积、功耗和成本实情（如机器人、可穿戴设备、无人机等场景中），如何在三者受限的情况下实现最高的AI性能，是考验芯片团队极具挑战性的难题。

AiRiA 研究院常务副院长程健博士表示，若以牺牲AI芯片的性能来满足IoT终端对体积、功耗和成本的要求，是一种“妥协”而非创新，如何在寻求平衡，做到较低功耗、较小体积和较低成本的情况下，还能保证性能不受到影响，才能真正满足诸多行业场景对边缘智能的综合诉求。那么，AiRiA研究院是如何应对这些严苛挑战，达成AI芯片领域重大突破的呢？这就要提到中科院自动化研究所基于十几年对量化处理技术的深厚积累了。

量化处理技术是如何帮助AI芯片在成本、功耗、性能等综合方面发挥优势的？

量化模型压缩处理技术可以极大简化整个计算过程。AiRiA 研究院副院长冷聪博士进一步介绍道，量化技术的精细化程度越高，对整个计算过程简化和整合的效率就越高。目前业内采用量化处理技术的标配是支持8比特，但AiRiA 研究院能做到4比特、2比特甚至任意1比特的量化，在国际上也达到了领先水平。

随着量化程度的提高，AiRiA研究院自主设计的量化神经处理器QNPU（Quantized Neural Processing Unit）可通过大规模神经网络实现片上计算，从而减少或无需访问外部存储，这就解决掉耗费极大功耗、带宽和体积成本的“内存墙”难题。这样一来，就满足了多种IoT的边缘计算场景的应用，在小规模的、小体积、小功耗的前提下仍保证高可靠的计算性能，这是QNPU非常突出的特性和优势。