借助软件，视频稳定功能变得越来越好、越来越智能

在过去的几年里，基于软件的视频稳定技术发展迅速——事实证明这是一件好事。因为最初的努力主要是为了让智能手机视频更适合消费者，现在已经发展为需要在所有类型的分布式工作人员之间进行稳定的视频通信，部分原因是新形式因素和远程工作的兴起。

您会看到，随着 Covid-19 大流行进入第三个年头，企业继续调整和利用技术解决方案来完成工作，无论是虚拟会议、远程医疗、电子商务还是其他方式。早期，对于数以百万计的知识工作者而言，视频通信对于持续运营变得至关重要。首先，因为他们都在家工作，然后是为了在所谓的“混合”工作环境中促进协作，因为并不是每个人都可以面对面地在一起，有些人必须通过视频进行修补。

但混合工作与建筑或制造业等行业不同，这些行业的工作显然是非数字化的，大多数工人没有笔记本电脑和网络摄像头进行协作。尽管如此，如果您愿意的话，仍然需要在现场或车间进行视频通信，部分是为了支持社交距离，部分是为了连接即使在非大流行时期也可能彼此远程工作的分布式专家。

例如，分析师观察到增强现实 (AR) 头戴式耳机的采用率显着上升，以促进联网工作。去年，ABI Research 大肆宣传 AR在工业市场的使用增长——制造业、运输/汽车、能源和公用事业、物流以及建筑、工程和施工 (AEC)。使用支持 AR 和视频的移动设备，以及不断涌现的智能眼镜和耳机，工业公司正在赋予全新的工人分类以进行视觉协作，无论是来自工作场所的免提视频通话，还是视觉记录检查，记录过程以供培训或参考，或者只是在远程专家中进行修补以咨询双方可以同时看到的情况。

但是，如果没有视频稳定功能，这一切都无法正常工作。带有视频耳机的建筑工人或公用事业检查员不是稳定的三脚架。他们移动、摇晃、咳嗽——所有这些都使他们捕捉到的视频无法准确观看。对于需要“查看”现场工作人员所见内容的远程专家来说，跳动的视频会让人感到恶心。

Imint 的 Vidhance Video Stabilization Gen 4 解决方案显着减少了不必要的移动并提高了流畅度。（来源：Imint Image Intelligence AB）

基于软件的视频稳定的演变

好消息是，我们正在进入新一代基于软件的视频稳定功能，它可以支持向我们抛出的任何移动视频用例。事实上，我们已经达到了稳定效果非常好的地步，这几乎是不自然的。那时，我们可以开始适当地重新引入运动，因为它支持最终用例。想象一位外科医生带着视频耳机流式传输手术。例如，我们希望稳定她的头部移动的影响，而不是患者的心跳。

软件视频稳定最初是基于图像的，使用光流方法比较视频帧，检测像素从一个到另一个的运动，并补偿该流以产生更稳定的视频。结果很好，但需要的计算能力比早期的移动设备所能承受的要多。

随着智能手机开始包含陀螺仪，稳定性演变为基于陀螺仪，而不是基于图像。稳定算法不需要从相机传感器读取实际图像来了解运动如何影响视频。棘手的部分是将陀螺仪数据中检测到的运动与相机传感器的实际运动相关联，这需要相机系统的理论模型来确定真实世界的条件。然后，稳定软件可以向相机的渲染设备发送有关如何调整和裁剪帧以稳定视频的信息。基于陀螺仪的稳定性非常好且节能，非常适合用于智能手机和 AR 耳机等移动设备。

在大多数情况下，这就是我们今天所处的位置。但是，如果我们结合这两种稳定模式——基于图像和基于陀螺仪——我们可以实现更好的亚像素稳定，未来的应用可能需要并从中受益。随着相机分辨率的提高，例如，随着工业可视化应用程序利用这些更高的分辨率，视频稳定器将为此付出努力，并最终为应用程序的成功奠定基础。

今天有基于软件的视频稳定解决方案将基于图像的稳定覆盖在基于陀螺仪的稳定上，但它们是计算密集型的。提供两者的旗舰移动设备通常设计为以非常高分辨率（如 8K）回退到基于陀螺仪的设备。但是，当智能手机或耳机具有更快的专用处理器时，能够执行最先进的视频稳定功能的时代即将到来。

这成为我们绘制新的高级视频应用程序的画布。随着越来越多更好的摄像机进入劳动力市场以用于新的和不同的用途，视频稳定性将至关重要——在某种程度上。但移动视频的未来并没有更加稳定。它更好地稳定。实现这一目标的方法是通过软件实现超级稳定的视频——视频如此稳定以至于看起来不自然——然后使用人工智能允许或重新引入运动。

换句话说，随着视频和 AR 设备渗透到各个行业并需要高级稳定性，将不可避免地需要将不需要的运动与想要的运动区分开来。并非所有的相机颠簸、摇晃和扫动都是不好的，而这种新一代技术可以感知差异。称之为智能视频稳定或基于意图的视频稳定，这一切都可以在不消耗电力的情况下实现。

这种更好的稳定性现在是可能的。它在无数用例中的应用也得到了更好的关注。

Johan Svensson 是Imint Image Intelligence AB的首席技术官，Vidhance 视频增强软件的发明者。

审核编辑 黄昊宇