基于特征深度学习重建网络来恢复通畅的图像

今年来温哥华参加的siggraph也是第二次参加这种档次的会议，我比较关注计算影像学。

1. Centimeter-Wave Free-Space Time-of-Flight Imaging

深度相机正在成为一种基石模式，具有直接或间接依赖于测量深度的多种应用，包括个人设备、机器人和自动驾驶汽车。尽管飞行时间 （ToF） 方法推动了这些应用，但 ToF 方法的精度和鲁棒性受到依赖于光子时间标记或光转换后调制的限制。成功的光调制方法有大耦合损耗的受限光纤耦合调制或亚厘米范围的干涉调制，干涉方法与ToF方法之间的精度差距超过三个数量级。在这项工作中，我们缩小了这一差距，并提出了一种用于光转换前的全光学自由空间相关的计算成像方法，该方法通过传统的硅强度传感器实现了微米级深度分辨率，并对表面反射率和环境光具有鲁棒性。为此，我们解决了两个技术挑战：以 GHz 速率调制和计算相位展开。我们提出了一种具有谐振偏振调制器的成像方法，并设计了一种新颖的光学双通倍频，可在超过 10GHz 时实现高调制对比度。同时，厘米波调制以及较小的调制带宽使现有的相位展开方法无效。我们使用一种神经相位展开方法来解决这个问题，该方法利用相邻的包裹通常高度相关。我们在模拟和实验中验证了所提出的方法，它达到了微米级的深度精度。我们展示了独立于表面纹理和环境光的精确深度感应，并与现有的模拟解调方法进行了比较，我们在所有测试场景中都表现出色。

2. Blending Camera and 77 GHz Radar Sensing for Equitable， Robust Plethysmography.

随着因 COVID-19 大流行而导致的非接触式生命体征传感的复苏，远程心率监测已获得显着的重视。许多现有方法使用相机；然而，之前的工作显示较深肤色的性能损失。在本文中，我们通过光传输分析表明，相机模式从根本上偏向于较深的肤色。我们建议通过多模态融合与互补和更公平的模态——雷达来减少这种偏差。通过一种新颖的面向去偏的融合框架，我们在所有测试基线上实现了性能提升，并在 RGB 模态上实现了肤色公平性改进。此外，与基于雷达的方法相比，性能得到了改进，但公平性方面的权衡很小。我们还开源了最大的多模式远程心率估计数据集，其中包括配对相机和雷达测量，重点是肤色表示。

3. Seeing Through Obstructions With Diffractive Cloaking

我们提出了一种计算单目相机，它可以在光学上隐藏不需要的障碍物，例如镜头盖玻璃上的雨滴或污渍，或相机附近的栅栏。我们没有在捕获后修复被遮挡的信息，而是学习了一个定制的衍射光学元件，当它放置在相机镜头前时，它充当了一个与深度相关的散射体。学习到的光学元件位于现有相机设置的孔径平面上，并产生一个点扩散函数，为近距离物体提供大空间支持，将光线从焦点处散射出去。同时在不增加相机占用空间的情况下保持长距离的空间分辨率。结合光学元件，我们共同优化了一个基于特征的深度学习重建网络来恢复通畅的图像。

4. Optical Aberrations Correction in Postprocessing Using Imaging Simulation

随着移动摄影的不断普及，人们正在投入大量精力来重建退化的图像。由于在镜头设计过程中无法避免的光学像差的空间变化，最近的商用相机已将其中一些校正任务从光学设计转移到后处理系统。然而，在不涉及光学参数的情况下，这些系统只能实现有限的像差校正。

在这项工作中，我们提出了一种实用的方法来恢复由光学像差引起的退化。具体来说，我们建立了基于我们提出的光学点扩散函数模型的成像模拟系统。给定相机的光学参数，它会生成这些特定设备的成像结果。为了进行恢复，我们在成像模拟系统生成的合成数据对上设计了一个空间自适应网络模型，消除了通过大量拍摄和配准捕获训练数据的开销。

此外，我们分别使用定制的数字单镜头反光相机镜头和 HUAWEI HONOR 20 在模拟和实验中全面评估了所提出的方法。实验表明，我们的解决方案成功地消除了空间变化的模糊和色散。与最先进的去模糊方法相比，所提出的方法以更低的计算开销实现了更好的结果。此外，重建技术没有引入人工纹理，便于移植到当前的商用相机中。

审核编辑：彭静