本文最初发布于e-con Systems官网，经e-con Systems授权转载。
飞行时间（ToF）相机通过发射经过调制的红外光，并计算反射光返回传感器所需的时间，来测量每个像素的深度信息。这种技术为机器人、工业自动化系统、无人机等领域提供了强大的视觉能力。
然而，ToF传感器产生的原始信号很少能完全避免干扰。环境光、物体表面反射率有限、积分时间限制以及传感器设计本身等因素，都会导致深度测量值出现波动。如果不加以校正，这些波动会表现为点云中的抖动和深度图中的不稳定性，从而降低下游应用的可靠性。
时域滤波器在跨帧平滑数值方面发挥着关键作用。它们能够稳定静态区域并降低视觉噪点，为后续数据精细化处理做好准备。
在本文中，你将了解时域滤波器的工作原理、ToF相机中使用的主要算法，以及部署这些算法时需要考虑的取舍。
飞行时间成像的基本原理是什么
连续波（CW）ToF相机以设定的调制频率发射连续波信号运行。每个像素测量发射光与反射光之间的相位差。利用光速这一恒定值，相位数据被转换为深度信息。除了相位图之外，幅度图还能捕捉信号强度，为测量置信度提供额外参考。
深度图随后可以转换为三维点云。每个像素在空间中变成一个坐标点，并根据RGB值、幅度值或深度梯度值进行着色。这些点云构成了实时渲染和分析的基础。
但如果不进行滤波处理，深度图中的随机噪声会导致重建结果不稳定，在实际场景中的可用性也会变差。
下方视频展示了iToF相机在使用和未使用时域滤波器时的效果对比。
为什么真正需要时域滤波
即使曝光和照明调整到了上限，ToF相机系统中的噪声依然存在。通过降低帧率可以延长积分时间，从而增加光子捕获量并减少随机散粒噪声。但即便进行了这些调整，由于传感器设计限制、环境干扰以及不同表面反射率差异等因素，深度图中仍会残留波动。
下方视频展示了ToF相机在有无时域滤波器情况下的输出对比。
中值滤波器能够降低空间噪声，但可能使运动物体产生畸变；IIR滤波器能提高时域稳定性，但会在运动场景中引入运动鬼影。
与其他滤波器相比，自适应均值滤波器在降低噪声的同时能更好地保留物体结构，从而提供更优的深度质量。这种滤波器已应用于最新的百万像素3D iToF GMSL2相机中。
时域滤波存在哪些取舍
时域滤波面临的最大挑战是运动模糊。由于数值是跨帧平均计算的，快速移动的物体会出现拖影现象。这使得传统时域滤波器不太适合涉及持续快速运动的场景，例如手势控制或在拥挤环境中运行的自主机器人。
不过，自适应均值时域滤波器在动态场景中可能更为有效，因为它能选择性地对静态区域施加更强的平滑处理，同时减弱对运动物体的平滑力度。这种自适应特性能够在减少运动伪影的同时，不显著影响降噪性能，从而提高在快速运动场景中的鲁棒性。
对于静止或缓慢变化的场景，时域滤波器能显著增强深度稳定性，提升深度数据的清晰度和点云一致性。
时域滤波：融入ToF处理流程
ToF处理流程首先要调整系统设置：照明、调制频率和曝光。这些参数确定后，时域滤波器负责处理帧间不稳定性问题。算法的选择取决于硬件资源和应用场景。例如：
IIR滤波器最适合处理预算有限的实时系统；
中值-均值滤波器适用于资源较为充足的平台，在这类平台上，更强的降噪效果比计算成本的增加更重要；
自适应均值滤波适用于需要在降噪的同时保留物体结构并最大限度减少运动伪影的应用场景。
同样值得注意的是，IIR滤波在时间维度上独立作用于每个像素，提供局部化的时域平滑处理。而基于中值和均值的方法根据具体实现方式，还可能额外整合邻域信息。
e-con Systems提供值得信赖的飞行时间相机
自2003年以来，e-con Systems一直致力于设计、开发和制造嵌入式视觉解决方案——从定制OEM相机到完整的ODM平台。我们的ToF相机采用940nm或850nm近红外光，可在室内和室外环境中实现精准的3D成像。支持的接口包括USB、MIPI和GMSL2，并为NVIDIA Jetson AGX Orin、AGX Xavier以及x86系统提供SDK支持。
常见问题解答
时域滤波器在ToF相机中的主要作用是什么？
时域滤波器通过整合连续多帧的数据，实现深度测量值在时间维度上的平滑处理。它能减少抖动和随机波动，尤其在静态区域效果明显。最终结果是获得更清晰的深度图，从而提升点云和三维重建的质量。
IIR滤波器与中值-均值滤波器有何不同？
IIR滤波器在过去和当前数值之间应用加权移动平均，因此轻量且资源占用少。而中值-均值滤波器则需要缓存多帧数据，进行排序后输出中值或中段平均值。这种方法虽然对异常值的处理更为稳健，但需要更多的内存和处理能力。
为什么时域滤波器会导致运动模糊？
由于时域滤波器会对多帧数据进行平均或参照处理，快速移动的物体可能会出现模糊现象。这种混合效应源于滤波器混合了不同时间点、不同位置的数值。对于涉及高速运动的应用场景，空间滤波器或混合方法更为适用。
什么情况下应该选用IIR滤波器而非中值-均值滤波器？
IIR滤波器非常适合计算资源有限的嵌入式系统，以及对延迟要求严苛的实时场景。中值-均值滤波器则更适合处理能力较强的系统，这类系统需要更强的异常值抑制能力，且能够容忍轻微的延迟。
快速运动场景应该使用哪种滤波器？
自适应均值时域滤波器对快速运动场景可能更为有效，因为它能选择性地对静态区域施加更强的平滑处理，同时降低对运动物体的平滑程度，从而消除运动伪影。这种自适应特性使其适用于快速运动场景，且不会显著影响降噪性能。
时域滤波器如何融入完整的ToF相机处理流程？
在照明、曝光和调制频率等系统设置完成优化后，才会应用时域滤波器。时域滤波器在采用空间滤波器或高级算法之前，负责处理残留的帧间不稳定性，从而确保为点云生成和高层次处理提供稳定的输入数据。
Q&A
Q1：时域滤波器在ToF相机中主要起什么作用？
A：时域滤波器通过跨帧平滑深度数据，减少抖动和随机波动，尤其能稳定静态区域，从而提升点云和三维重建的质量。
Q2：时域滤波器为什么会导致运动模糊？
A：因为时域滤波器会对多帧数据进行平均或参照计算，快速移动物体的数值会被混合，导致其在图像中呈现拖影或模糊效果。
Q3：面对快速运动场景，应该选用哪种滤波器？
A：建议使用自适应均值滤波器，它能对静态区域施加更强平滑处理，同时减弱对运动物体的平滑力度，从而在降噪的同时减少运动伪影。
