为什么可编程图像处理对物理AI至关重要
本文最初发布于Visionary.ai官网，经Visionary.ai许可在此转载。
几十年来，图像信号处理器一直是相机系统中最不起眼却又最重要的部件之一。
传感器捕获原始拜耳数据，ISP将其转化为图像，工程师们花费数月时间进行调校，而计算机视觉算法则消费其输出结果。
当目标很简单——让图像看起来更好看——这种模式是合理的。
但物理AI改变了这个问题的本质。
机器人、自动化机器和智能边缘设备不需要仅仅对人类看起来好看的图像。它们需要正确的信息来可靠地感知物理世界。
这使得ISP成为一种截然不同的技术。
英伟达的Jetson Thor使用SIPL，这是一个用于相机集成、流传输和控制的模块化软件框架，与硬件ISP处理协同工作。
在Visionary.ai，我们看到了一个机会：让图像处理本身变得更加可编程，让开发者能够控制原始传感器数据如何针对其应用进行转换，并通过软件更新不断改进处理流程。
传统的ISP本质上是一个由算法和参数组成的复杂集合。
去马赛克、降噪、HDR、锐化、色彩校正、色调映射。
每个单独的功能都是可控的。真正的复杂性来自于让所有这些功能在成千上万种传感器特性、镜头、光照条件和运动状态的组合下协同工作。
而且总得有人来调校它。
更换传感器，调校就要改变。
更换镜头，调校再次改变。
从白天切换到极端弱光环境，引入运动，或是加入高动态范围场景，妥协之处便会立刻显现。
结果是，大量的工程投入都用于回答一个看似简单的问题：
相机应该输出什么？
传统上，这个答案一直围绕人类视觉进行优化。
但物理AI有着不同的目标。
对人类而言最佳的图像，未必是对物体检测器而言最佳的图像。
一张看起来干净的图像，可能已经丢失了纹理信息。
一张看起来锐利的图像，可能包含会让神经网络产生困惑的伪影。
一张看起来明亮的图像，可能已不再包含区分物体与背景所需的信息。
对于AI而言，"良好的图像质量"需要一个新的定义。
这是一场更为广泛的技术变革的一部分。
计算领域一直在反复经历从固定功能硬件向可编程架构的转变。
CPU取代了专用机器。
GPU将图形处理转变为可编程的并行计算。
网络变成了软件定义的网络。
而现在，成像领域也开始走上同样的道路。
原因不仅仅是灵活性。
更在于变化的速度。
传感器在演进。
AI模型在演进。
机器人在演进。
应用场景在演进。
今天设计的硬件流水线无法预见未来五年所有的成像需求。
而软件可以随时更新。
这并不意味着硬件变得无关紧要——恰恰相反，专用硬件对于在边缘实现所需的功耗、延迟和吞吐量仍然至关重要。
但这改变了智能所处的位置。
硬件应该提供算力，而软件应该定义这些算力如何被使用。
这也是软件ISP的出现变得格外有意思的地方。
Visionary.ai正将软件定义相机流水线的理念推向其逻辑终点：使用神经网络将原始传感器数据处理成图像，这种图像不仅在视觉上更出色，对下游计算机视觉任务也更有用。
这个区别很重要。
这不仅仅是用一种ISP实现方式替代另一种。
而是在改变优化目标。
与围绕一套手动调校的固定规则构建图像流水线不同，神经ISP可以学习从原始传感器数据到可用视觉信息的转换过程。
这为相机开发开辟了一种根本不同的模式。
ISP可以变成软件。
它可以运行在已经为感知任务部署的同一套边缘AI基础设施上。
它可以适应不同的传感器和环境。
它可以通过软件更新来演进，而不必等待下一代芯片的问世。
Visionary.ai是推动这一模式发展的公司之一，其AI ISP设计用于在边缘AI硬件上实时运行，将原始拜耳数据转换为可供感知使用的图像。
这其中蕴含着更深层的含义。
我们往往认为计算机视觉是从神经网络开始的。
但事实并非如此。
它始于到达传感器的光子。
从传感器到感知模型之间发生的一切，都决定了AI最终能够获得怎样的信息。
如果弱光细节在相机端就已经消失。
如果运动产生了伪影。
如果HDR信息丢失。
如果噪声淹没了小物体。
那么下游的神经网络一开始接收到的，就是对现实世界的失真表示。
因此，更好的AI不仅仅意味着更好的模型。
它还意味着更好的输入。
这正是ISP再次变得具有战略重要性的原因。
它不再只是相机的一个管道部件，而是感知堆栈的第一层。
成像领域正在经历的变革，远比ISP本身更为深远。
相机正在从一个被动的传感器演变为一个智能的、可编程的系统。
英伟达在Jetson上的发展方向，是这一转变的一个重要信号。
而AI ISP的出现，则指明了下一步可能的发展方向。
现在的问题已不再仅仅是：
"我们应该如何处理图像？"
而是：
"机器需要从图像中获取什么信息？"
这是一个截然不同的问题。
而对这个问题的回答，最终可能将决定物理AI能够多好地看见、理解并与真实世界互动。
相机感知的未来，将不再由更出色的固定功能流水线来定义。
它将由软件来定义。
