汽车级ISP「不可小视」，市场争夺战已经打响

[Autonomous]

文章来源：https://mp.weixin.qq.com/s/3s2inygWcubygLZC7MXWxQ

申明：文章为转发，仅供学习，如有不当之处，联系本社区删贴。

作为智能驾驶的核心传感器，摄像头的作用毋庸置疑。

为了获得更好的图像质量，通常在系统开发过程中，工程师需要对相机的ISP（图像信号处理）参数进行调整，以更好的适配场景和算法。一般情况下，这个优化调整的过程需要几个月时间。

研究结果表明，对于任何一种CV算法，相机的ISP都必须根据其结构、任务、语义、训练和偏好进行专门优化。而视觉感知的重要性，也在被越来越多的企业视为未来自动驾驶的低成本解决方案。

近日，丰田汽车旗下负责智能驾驶开发的子公司Woven Planet对外证实，未来将效仿特斯拉公司的做法，试图用低成本摄像头来推进自动驾驶技术落地。

该公司认为，基于摄像头采集数据和训练模型，是一个具备“突破”性意义的里程碑，并且有助于降低推动自动驾驶落地的成本，同时对于一个强大的自动驾驶系统也至关重要。

“我们需要大量数据。仅仅从非常昂贵的冗余安全自动驾驶系统（比如，配置激光雷达）中采集数据，是远远不够的。”Woven Planet公司相关技术负责人表示，低成本相机的大部分数据，已经接近高成本传感器的水平。

 ISP的规范

在Woven Planet公司的岗位招聘中，摄像头模块负责人的要求之一，就是对图像信号处理（ISP）有深刻的理解，涉及相机模块、图像传感器、接口、ISP SoC等，并负责摄像头系统技术路线图的制定。

在ISP层面，上述岗位需要对图像信号处理、图像质量调整、相机校准、图像质量度量、色彩科学有较强的理解能力，了解计算机视觉算法，以及摄像头的工厂校准，内部/外部校准，ISP调谐校准等。

通常在一款摄像头的ISP标定过程，涉及到黑电平、NR降噪、静态坏点、镜头的Shading、AWB静态白平衡、CCM、阴影矫正、电子防抖、日夜切换、聚焦参数等多个环节。

而针对汽车行业，尤其是智能驾驶、舱内监控等应用，ISP优化也有很多差异化的地方。比如，针对前视ADAS系统，需要可以快速分析远处和近处的物体，镜头聚焦在一个远距离范围内，需要最大限度地提高系统的灵敏度。

针对后视及环视应用，则需要应用畸变校正算法和多图像的拼合。比如，采用预畸变的SFRplus测试图卡，应用于广角镜头的畸变和清晰度测试。对于超广角摄像头则需要增加超广角清晰度分析设备来进行测试。

舱内监控，比如驾驶员疲劳分心预警感知，主要是扫描驾驶员的面部和眼部位置，需要高精度成像来跟踪不同光线环境中的驾驶员状态识别。

而在行业标准方面，此前大多数汽车摄像头系统都是独立定制开发的模式，并没有用于校准或测量图像质量的标准化参考点。汽车成像由于其不同和独特的成像条件（鱼眼、多摄像头、高动态范围/HDR、温度范围等），给行业带来了独特的挑战。

此后，IEEE-SA P2020汽车成像标准工作组的成立，就是为了解决汽车成像系统的图像质量测量方面存在的相当大的模糊性，包括基于人类和计算机视觉。

按照此前IEEE P2020汽车成像工作组发布的行业白皮书可以看到，过去汽车制造商和一二级供应商缺乏一种共同的语言来描述系统的图像质量，造成很多需求在OEM、一级、二级供应商开发过程中出现偏差。

一个比较明显的差异化结果就是，即便是基于相同的视觉处理芯片、算法，由于摄像头的差异，可能就会出现同一个功能的表现差异。

就在今年初，诚迈科技就与英伟达正式签署合作协议，为智能驾驶相关企业提供基于NVIDIA DRIVE Orin及Xavier等系统级芯片产品的量产级别ISP服务。

ISP的争夺战

毋庸置疑，不管是其他应用行业，还是汽车行业，摄像头性能的优化已经变得越来越重要。过去，摄像头厂商是主要的ISP需求方。近年来，一方面，CMOS厂商在逐步寻求集成ISP的方法，同时，在SoC中也把ISP作为主要的模块。

这些通常都被称为硬ISP，还有一种是软ISP，通过专业算法处理传感器数据，如线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等。此前，特斯拉传言要“抛弃”ISP，大概率也是希望采用软ISP来规避第三方硬件上的限制。

而与摄像头中集成ISP不同，类似英伟达、高通等SoC厂商的产品中集成的ISP，在过去比较难通过第三方来实现调优。比如，Qualcomm处理器自带的ISP，就有自己的优化算法。即便是可以实现参数调校，也大多数会限定在高通的框架之内。

这也是为什么此前很多手机厂商寻求自研ISP来提升摄像头的性能，并构建差异化门槛。原因恰恰就是因为“相同的镜头和传感器经过不同的ISP调教，也会有不同的效果。”

此外，ISP是非标准化的芯片IP，既有客观的性能指标，比如摄像头的数量、分辨率帧率、带宽、功耗、延迟等。也有比较难以完全客观化的图像评价指标。

几年前，Arm站了出来，希望一统汽车级ISP的IP江湖。

早在2016年，ARM就收购了成像技术开发商Apical，后者专门从事ISP和计算机视觉技术开发。后者成立于2002年，此前主要服务手机市场。

今年初，Arm宣布正式发布汽车级Mali-C78AE ISP，符合ISO 26262 ASIL B功能安全要求。在Arm看来，未来五年，汽车摄像头市场的规模还在快速增长，单车配置10-13个摄像头会成为常态，这意味着，ISP市场（需要适配不同的需求）也在同步扩大。

而相比于传统摄像头内置的ISP，Mali-C78AE有超过380个故障检测电路，可以检测连接摄像头的传感器和硬件故障。这对于需要满足更高功能安全要求的系统来说，至关重要。

 此外，Mali-C78AE采用了更好的降噪技术和动态范围管理，通过调整帧的过暗或过亮区域，确保每个帧都能清晰和适当曝光，并且能够在大约150毫秒的时间窗口内调整帧数据，大大降低ISP的出错几率。

同时，和过去与摄像头数量成正比关系的ISP来说，Mali-C78AE能够处理多达4个实时摄像头或16个虚拟摄像头的数据，这意味着整体系统成本的下降，同时也会大幅降低摄像头的功耗。

在量产端，Mali-C78AE ISP将可以配合此前已经发布的Cortex-A78AE CPU、Mali-G78AE GPU。公开信息显示，Mobileye即将推出的下一代EyeQ Ultra、EyeQ6H等SoC将率先搭载Arm的ISP，进一步提升图像处理能力。

ISP的软实力

当然，ISP的能力优化，仍然是一条漫长的道路。这也预示着，基于摄像头的感知技术仍然具备很大的潜在提升空间。

按照IEEE-SA P2020白皮书中所说，定义ADAS系统的组件要求是一个复杂的过程。在中间数据流中观察到的特定效果不一定是孤立的，需要对完整的信息传输流进行复杂的分析。

这意味着有必要分析从光学层面到电子信号层面的链条，必须考虑到系统预期运行的使用情况。因此，至关重要的是，组件不只是作为孤立的元素来表征，而是在一个单一的框架下很好地涵盖了链条上的所有影响，这样才能适当地表征整个系统。

比如，IEEE P2020分组3（系统和部件层面的计算机视觉的图像质量）的目标就是开发一致的指标，既描述各种退化，又给出其置信度的界限。探索区分性的概率方法，如对比度检测概率（CDP）。这有助于整体信号链的可视化，并旨在改善跨域障碍。

这也催生了ISP赛道的工程服务市场。

比如，Imatest LLC公司在去年就推出了新的相机几何校准验证服务，原因是在构建汽车摄像头系统时，几何相机校准是必要的，以提供图像和真实世界之间的对应关系。

同时，测试服务与IEEE P2020保持一致，产生64个目标对组合进行分析。目标距离误差用于描述给定校准的质量。相机旋转到多个位置，通过图像场进行评估，每个图像都产生一组用于分析的距离错误值。

此外，在ISP算法层面，也有不少公司开始推出一些工具。

去年，一家名为Visionary.ai的以色列软件公司就推出了一套软件ISP工具，基于AI技术大幅提高图像和视频的质量，并检测每帧中的每个细节。

另一家名为Algolux的计算机视觉和图像优化解决方案提供商，也将计算成像技术（CIT）导入汽车ISP领域，也就是在传统成像技术中引入信息处理方法，改变传统光学成像单一依靠线性光学信息传递理论的瓶颈。

这也被称为，下一代软ISP的“新”能力。

因为，硬ISP是由工程师撰写的代码，特斯拉称之为软件1.0。人工智能增强的ISP，也被称为软件2.0，不是由工程师决定，而是由AI技术进行不断迭代优化。

比如，Algolux公司给出的解决方案，就是不采用传统的硬ISP图像处理器，而是采用RAW传感器数据作为输入，然后通过端到端深度神经网络融合和处理数据。

“我们的软ISP现在提供的最好结果，是在0.1 lux（被拍摄主体表面单位面积上垂直照射到的光通量）以下，可以在几乎完全黑暗的情况下检测全色图像和视频。”在Visionary.ai公司看来，传统硬ISP架构则需要长时间曝光的图像检测，而我们可以实现视频级检测。

或许，这才是我们需要正视的ISP“变革”。同时，ISP的优化能力，也将是汽车感知技术方案商的差异化竞争门槛。