受鸟类启发:多光谱相机在动态环境中检测跟踪更精准

据麦姆斯咨询报道，韩国基础科学研究所（IBS）的一个研究项目开发出一种钙钛矿多光谱相机，其设计模仿了鸟类的眼睛，增强了在动态环境中检测和跟踪远程物体的能力。该项目的相关研究成果以“Avian eye–inspired perovskite artificial vision system for foveated and multispectral imaging”为题，发表在Science Robotics期刊上。

近年来，仿生视觉系统得到了大量研究与应用，其动机是新颖的光学结构和成像能力。昆虫的眼睛是一个特别富有成果的来源，例如美国加州大学洛杉矶分校开发的模仿苍蝇眼睛的3D相机。

韩国基础科学研究所的研究项目转而研究鸟类的眼睛，鸟类的视网膜在进化过程中形成了中央凹，有助于汇聚入射光并形成目标的放大图像——视锥密度最高的区域位于中央凹内，鸟类能够通过放大能力清晰地感知远处的物体。鸟类需要敏锐的视力来捕猎和感知捕食者，因此眼睛的中央凹特别深。

鸟类眼睛的结构和功能特征

鸟类的眼睛还有四个视锥光感受器，可以对紫外光（UV）以及可见光（RGB）作出反应。这种多光谱四色视觉使鸟类能够获得丰富的视觉信息，并在动态环境中有效地检测目标物体。

“尽管模拟动物视觉的人工视觉系统取得了显著的进展，但是鸟类的眼睛通过中央凹和多光谱成像的卓越物体检测和瞄准能力仍未得到充分探索。”韩国基础科学研究所的研究人员在其论文中评论道。

该研究项目首先设计了一种具有高斯分布的人工中央凹，并利用透明弹性体制作了它，以此来模拟鸟类的眼睛。然后将其集成在一组四个垂直堆叠的钙钛矿层上，每个钙钛矿层通过精细的带隙控制对从紫外光（UV）到可见光（RGB）的不同波长做出响应。

用于中央凹成像的人工中央凹模块的光学模拟

受鸟类眼睛启发的相机：（a）相机示意图；（b）人造中央凹；（c）多光谱图像传感器结构示意图；（d）多光谱图像传感器。

快速准确地发现远处的物体

韩国基础科学研究所Jinhing Park评论道：“我们开发的新的转移工艺来实现垂直堆叠光电探测器。通过使用之前开发的钙钛矿图案化方法，我们能够制造出无需额外滤光片的多光谱图像传感器，可以检测紫外光（UV）和可见光（RGB）。”

优化多光谱图像传感器中的各个像素，以实现无需彩色滤光片的颜色检测

多光谱图像传感器的详细结构

新的相机设计旨在克服成像系统的一个关键限制，即中心目标物体可能聚焦，但其周围环境却不聚焦。韩国基础科学研究所开发的相机通过中央凹区域的放大来感知远处物体，并通过外围区域感知近处的物体，从而区分这些区域中的紫外光（UV）和可见光（RGB）。

根据韩国基础科学研究所的项目介绍，通过比较上述两个区域的视野内容，受鸟类眼睛启发的相机可以实现比传统相机更强大的运动检测能力。此外，新的相机更具成本效益且重量更轻，无需添加滤光片等组件即可区分紫外光（UV）和可见光（RGB）。

使用受鸟类眼睛启发的钙钛矿多光谱相机进行注视点和多光谱成像演示

在模拟实验中，新相机在物体识别中的置信度得分为0.76，据称是现有相机系统置信度得分0.39的两倍。与现有相机相比，新相机的运动检测率也提高了3.6倍，表明对运动的灵敏度显著增强。

使用受鸟类眼睛启发的钙钛矿多光谱相机的物体/运动检测能力

韩国基础科学研究所Dae-Hyeong Kim评论道：“鸟类的眼睛已经进化到可以在飞行中快速准确地检测远处物体。我们研发的受鸟类眼睛启发的相机可用于需要清晰检测及跟踪目标物体的领域，例如移动机器人和自动驾驶汽车等。该相机在与鸟类生活环境相似的无人机上具有巨大的应用潜力。”