清华大学类脑视觉芯片“天眸芯”突破传统视觉感知芯片性能瓶颈

清华大学精密仪器系类脑计算研究中心施路平教授带领的团队，近期成功研制出世界首款名为“天眸芯”的类脑互补视觉芯片，实现了高速、精确且具有高动态范围的视觉信息收集。

此项成果于5月30日以《面向开放世界感知的类脑互补视觉芯片》为标题，发表在《自然》杂志的封面文章中（DOI:10.1038/s41586-024-07358-4）。

据介绍，传统视觉感知芯片因受到“功耗墙”与“带宽墙”的制约，在处理突发意外情况时易出现失真、失效或高延迟等问题，从而影响系统的稳定性和安全性。

为此，清华大学团队提出了一种基于视觉原语的互补双通路类脑视觉感知新模式。这种模式借鉴了人类视觉系统的基本原理，将开放世界的视觉信息分解成基于视觉原语的信息表达方式，再通过有机结合这些原语，模拟人眼视觉系统的特性，构建出两条优势互补、信息完整的视觉感知通道。

在此基础上，团队成功研制出“天眸芯”这款全球首款类脑互补视觉芯片。在极低的带宽（降低90%）和功耗成本下，它能达到每秒10000帧的高速、10bit的高精度以及130dB的高动态范围的视觉信息收集能力。

此外，团队还自主开发了高性能软件和算法，并在开放环境的车载平台上进行了性能测试。在各种极端场景下，该系统都能实现低延迟、高性能的实时感知推理，展示了其在智能无人系统领域的巨大应用潜力。

值得注意的是，这是该团队继异构融合类脑计算“天机芯”之后，再次荣登《自然》杂志封面，标志着中国在类脑计算和类脑感知两大关键领域取得了基础性突破。