西井科技携手两大高校研究团队发布自动驾驶感知合作成果

在自动驾驶、具身智能等智慧物流高速动态场景中，视觉感知的“反应速度”直接决定技术落地的安全性与可靠性。近日，西井科技与同济大学长聘教授、上海创智学院全时导师陈广研究团队，联合研究成果成功登上国际顶级学术期刊《Nature Communications》：建立了一套全新的、面向真实世界部署的时延感知评估框架STARE并提出了有效的模型优化策略。

2026年3月16日，《Nature Communications》发表了题为《Bridging the latency gap with a continuous stream evaluation framework in event-driven perception》的研究论文，旨在研究现有视觉评估体系在实时应用中的时延缺陷问题，引入基于事件流式感知的STARE框架，聚焦一个关键却长期未被充分关注的原则：事件相机连续感测、模型计算与现实任务需求之间的时间一致性，系统性地弥合事件相机（Event Camera）在理论速度和实际应用之间的时延鸿沟，为开发真正低延迟、高可靠的实时事件视觉系统奠定了基础。

图：西井科技与同济大学科研合作成果登刊《Nature Communications》

事件相机（Event Camera）是一种新型的生物启发式视觉传感器，与传统的基于帧的相机（如RGB相机）不同，其设计灵感源于生物视觉系统对动态环境的连续、自适应感知机制。

在自动驾驶、仓储搬运机器等需要快速反应的场景中，传统相机通常以固定帧率捕捉图像，这种离散的采样方式天然存在时间上的不连续性。例如，对于一辆高速行驶中的无人驾驶车而言，如果纯采用传统帧相机进行感知，这种离散采样带来的时间不连续性可能会直接导致系统的预测结果滞后，可能会直接导致系统的预测结果滞后，使其在面对突然闯入的障碍物等瞬态变化时难以做出及时的响应，因此在实际生产场景下，业界会更多采用多传感器融合的方式，来实现高冗余、高精度的实时定位与环境感知。

相比之下，事件相机（Event Camera）作为一种神经形态传感器，能够以微秒分辨率异步编码像素级亮度变化，输出连续事件流。这一特性突破了传统 RGB 相机离散帧处理的局限，为自动驾驶与机器人领域的实时感知赋予了天然的优势。

然而，现有视觉评估体系仍沿用RGB成像的帧处理范式，将连续的事件流强制转换为固定频率的事件帧进行处理。这种评估范式往往假设计算是瞬时完成的，从而忽略了“感知时延”（Perception Latency）——即从事件发生到下游应用接收到模型对应输出结果之间的时间差。这一被忽视的时延问题，正成为制约真实世界实时应用性能的关键瓶颈。

针对这一痛点，研究团队提出了STream-based lAtency-awaRe Evaluation（以下简称STARE）框架。该框架通过两大核心机制重构了现有的评估体系：一是连续采样（Continuous Sampling），最大化模型吞吐量，调度模型在前一推理周期结束后立即处理最新事件；二是时延感知评估（Latency-Aware Evaluation），首次将时延直接纳入精度度量，量化了因输出滞后导致的在线感知精度损失。

图：STARE时延感知评估框架

为了验证STARE框架的有效性，研究团队构建了包含500Hz高精度标注的高动态目标跟踪数据集ESOT500。实验数据显示，感知时延可导致在线精度下降超过50%，深刻揭示了传统评估方法与真实世界部署性能之间存在的巨大鸿沟。

图：高动态目标跟踪数据集ESOT500

基于这一洞察，研究团队进一步提出了两种模型增强策略，为实时感知系统的工程化落地提供了可行路径：

异步跟踪（Asynchronous Tracking）：采用“快-慢”双架构，利用轻量级的残差模型对重型基础模型进行高频修正，显著提升模型吞吐量。

上下文感知采样（Context-Aware Sampling）：根据目标周围的事件密度动态调整模型的输入与激活状态，在事件稀疏等极具挑战性的场景中依然保持了高度稳健的感知性能。

实验结果表明，异步跟踪将模型吞吐量提升了78%，时延感知精度提升高达60%；而上下文感知采样则在复杂稀疏工况下实现了超过51%的性能增益。

图：在STARE框架下对模型增强策略的定量评估

展望未来，STARE框架还为探索神经形态视觉更广泛的前沿问题开辟了新途径，如算法与硬件的协同设计、实时机器人控制以及基于学习的事件采样策略。通过将时间一致性置于模型运行和评估中，我们的研究为全面释放事件驱动系统的理论潜力提供了一条可行路径，推动相关技术在现实场景中实现高精度、低延迟与高可靠性。

本次与陈广研究团队发布的顶刊成果，是西井科技在“实时感知”核心技术领域的关键布局，将为海、陆、空、铁、工厂等大物流场景自动驾驶解决方案，提供坚实理论基石与工程化路径，未来有望让高速动态感知更敏捷、更安全、更可靠。

作为深耕AI与自动驾驶领域的科创企业，西井科技拥有丰富的多场景产业落地经验，其自主研发的无人驾驶重载水平运输车等核心产品，已成功服务于海内外多个港口、机场、工厂等大物流场景，积累深厚的工程化实践经验。未来，公司将继续深化与更多顶尖高校及科研机构的合作，聚焦行业核心痛点、深耕前沿技术研发，推动更多顶尖科研成果从实验室走向产业一线，将更多“实验室里的突破”转化为“场景中的价值”，赋能全球大物流行业的数字化、绿色化升级，携手共绘智能科技高质量发展新蓝图！