本篇博文最初发布于Visidon官方网站,经Visidon授权在此转载。

低光成像一直面临诸多权衡。当光线不足时,相机必须做出艰难抉择:提高增益会带来噪点,延长曝光会有模糊风险,多帧合成可能产生运动伪影,压缩动态范围则会损失细节。如果再加上快速运动,这一挑战将变得更加严峻。

这正是实时AI视频增强技术从"好看的演示"走向真实工程挑战的关键所在。

单张低光照片往往可以被有效改善,静态场景同样如此。但一旦相机移动、被摄对象移动,或两者同时移动,问题的性质便彻底改变。运动并非视频降噪中的细枝末节,而是核心难题。

为何运动让低光视频处理如此困难

在低光环境下,相机接收到的光子数量减少,信号变弱,噪点也更加明显。

基于AI的降噪技术在处理这一问题上优于传统ISP降噪,因为它经过训练能够区分噪点与真实图像细节,而非依赖固定滤波器。但视频引入了一个新的维度——时间。

视频降噪系统必须在多帧之间保持一致性。独立处理每一帧可能在单帧层面看起来干净,但在运动状态下却不稳定——细节闪烁、纹理忽隐忽现、边缘跳动。要打造真正高质量的视频,系统必须理解信息如何随时间流动。这正是大部分真正难点所在。

局部运动与全局运动

并非所有运动都是一样的。

局部运动发生在场景内部物体移动时——行人走动、车辆驶过、手势变化。全局运动则发生在整个相机移动时,这在智能手机、运动相机、无人机、随身摄像头和行车记录仪中十分常见。在这些情况下,几乎每个像素都可能在帧与帧之间发生移动。

全局运动对实时AI增强来说尤为困难,因为算法无法假设背景是稳定的。安装在头盔、自行车或车辆上的相机可能产生快速且不规则的运动——而在低光环境下,由于输入帧本身已经存在噪点和模糊,这种运动更难以估计。

而这些恰恰是最需要质量增强的应用场景。

时域处理的挑战

多帧处理理论上是合理的:如果某一帧有噪点,相邻帧可能包含有用信息来帮助重建细节。但这依赖于精确的对齐——而在视频中,对齐是一个复杂的问题。

快速运动、卷帘快门效应、动态光照和相机移动都会使帧对齐变得不可靠。如果算法误判运动并混合了实际上不匹配的帧,结果便是出现鬼影和拖尾。如果为避免这种情况而过于谨慎地混合,噪点则会残留。如果模型无法区分噪点与运动,它可能会抹去真实细节或生成不稳定的虚假细节。

实时部署又增加了一层难度。模型必须去除噪点、保留纹理、处理运动、避免闪烁、保护边缘、维持色彩,并支持HDR——所有这些都要在嵌入式硬件的延迟、内存和功耗限制内完成。在实验室测试中表现良好的模型,未必适用于现场移动中的相机。

优秀的AI降噪在运动场景中应该做到什么

强大的AI视频降噪系统不应仅仅是让图像变得更平滑,而应在提升可见度的同时保持视频自然且时域稳定——保留真实细节、避免帧间闪烁、减少鬼影,并在黑暗或快速变化的场景中保持边缘和色彩的清晰可辨——同时不凭空生成原本不存在的细节。

简而言之,优秀的AI降噪的核心在于理解什么应该保持稳定、什么是真正的运动、什么只是随机噪点。当整个场景都处于运动状态时,这种区分能力变得尤为关键。

低光增强技术的未来不仅仅在于让单帧画面更清晰,更在于带来更好的视频体验。而在实时、移动设备、恶劣光线条件下解决这一难题,正是AI视频增强技术下一个重大突破的起点。

Visidon的定位

这正是Visidon AI低光增强技术所专注解决的具体问题:在低光条件下、嵌入式硬件上,针对全局运动场景进行实时视频增强。全局运动之所以更具挑战性,恰恰因为它消除了大多数视频降噪方法所依赖的假设——即稳定的背景,同时在电池受限设备上使每一次额外计算都付出更高的功耗代价。

更高的画质与更低的功耗本就相互矛盾,而全局运动使这种权衡在视频增强领域中比几乎任何其他场景都更加尖锐。我们的目标并非假装这种权衡不存在,而是要改变它:在相同的算力和功耗预算下,提供比现有方案更高的画质。

我们在应对这一挑战时的起点异常扎实。我们方法的核心建立在最初为超低光环境下运行的安防摄像头开发的算法之上——早在"AI视频增强"成为消费设备主流期望之前,这类应用场景就已经要求可靠的噪点分离和时域稳定性。

这一基础与我们二十年来专注于移动相机图像质量的工作相结合。Visidon成立于2006年,在资源受限的硬件上进行图像和视频增强,一直是我们工作的核心。很少有团队在这一特定问题上投入如此长的时间——在真实世界的运动条件下,实时地从小型传感器和有限功耗预算中榨取更多性能。

最新成果:与iPhone 17 Pro的对比测试

在整个开发过程中,我们持续与市场上的领先设备进行基准测试,以确保我们的成果能够经受住市场最佳水准的检验。我们现已完成在iPhone 17 Pro拍摄素材上对自有网络的训练,并将结果与该手机的原生视频处理进行了对比。

我们特意选择了iPhone。其视频处理流程是市场上最强大的之一,这使其成为一个极具挑战性的基准对象。在我们为自己设定的目标——处理全局运动——方面,我们的网络表现更为出色。

两项结果尤为突出:

低光画质与旗舰机型持平。在暗场景中,我们的网络达到了与市场上最先进的智能手机相机处理流程相当的图像质量水平。

全局运动下表现明显更优。在相机本身移动的情况下,我们的网络能更好地保持细节和时域稳定性,拖影、鬼影和闪烁现象更少。

第二点对我们而言最为重要。在静态低光条件下达到旗舰机水准只是入场券,而在全局运动场景下表现出色才是真正脱颖而出的关键。

对比画面:移动相机拍摄的视频帧

每组对比展示了同一手持低光视频帧:左侧为Visidon AI低光增强效果,右侧为iPhone 17 Pro原生处理效果。

受益对象

AI低光增强技术专为相机本身会移动、且光线条件很少理想的设备而打造:

智能手机——夜间、演唱会、餐厅和城市街道中的手持视频拍摄,用户期望无需三脚架即可获得旗舰级效果。

创作者相机——在混合和昏暗光线下进行视频博客拍摄和边走边说的拍摄,清晰无闪烁的画面可节省后期制作时间。

运动相机——头盔、自行车和随身佩戴设备在黄昏、夜间或室内拍摄时产生的快速不规则运动画面。

无人机——黎明、黄昏和夜间的航拍视频,持续的移动和较长的观看距离使每一个细节都至关重要。

车载摄像头——行车记录仪、电子后视镜和环视系统,必须在车辆穿越隧道到无照明道路等不断变化的光线中保持清晰稳定。

在所有这些场景中,要求是一致的:在低光环境下提升可见度,同时在画面中一切都在运动时不牺牲时域稳定性——并且这一切都要在设备本身上实时完成。

Edge AI and Vision Alliance - Latest News