图像处理仍然是高级驾驶员监控系统的主要障碍。为了应对这一挑战，Arm 最新的图像信号处理器简化了 ADAS 和自动化技术的采用。

今天的车辆与十年前的车辆之间最显着的区别之一是ADAS的突然普及。 

不同 ADAS 技术的概述。图片由大陆工程服务公司提供

今天几乎所有的新车都配备了传感器和摄像头，以确保驾驶对用户来说尽可能简单和安全。

为了支持这些 ADAS 系统，需要大量的计算资源。ADAS 系统中最流行的计算资源之一是ISP。

今天，Arm 宣布了一款专为 ADAS 和自动化应用设计的新 ISP，我们将对此进行讨论，以及 ISP 在 ADAS 系统中的作用。

ADAS 中对 ISP 的需求

驾驶是一项视觉任务，因此，摄像头可以说是启用 ADAS 的最关键的传感器。

在当今的 ADAS 系统中，可以找到用于各种用途的摄像头，例如： 

• 环视系统
  

• 驾驶员监控系统

• 物体检测/碰撞避免系统

在这个硬件的背后，ADAS 依靠一系列图像处理和机器学习技术，例如计算机视觉和物体检测来解释这些图像中发生了什么以及如何做出响应。 

ADAS 概述，通常依赖于视觉输入。图片由Synopsys提供

在硬件中实现这一点并非易事。ADAS 系统需要极低的延迟计算，特别是因为驾驶需要实时决策，而且通常是生死攸关的场景。 

这一要求意味着 ADAS 系统必须在几毫秒内根据摄像头输入进行获取、预处理、处理并做出决策。实现这一目标是一项具有挑战性的任务，因为相机具有非常高的吞吐量，会产生大量数据。

为了解决这个问题，设计人员必须使用专门的计算硬件，例如 ISP。 

一般来说，ISP 旨在加速基于图像的系统所需的数据处理和计算，从而实现低功耗和更快的性能处理。

为了应对这些 ADAS 设计挑战，Arm 推出了用于 ADAS 的最新 ISP：Mali-C78AE。

新的 ISP 采用与 Mali-C71AE 相同的技术，专为数据处理而设计。 

Arm 声称它可以同时接受来自 16 个虚拟摄像头的多达四个实时摄像头的输入，该设备支持高达 1.2 千兆像素/秒的吞吐量。它希望这种高吞吐量、多输入能力将显着降低系统设计的复杂性，从而使系统整体更高效。

在内部，ISP 集成了多个图像处理模块，包括降噪和缺陷像素校正，其中包括： 

• 色度降噪
  

• 紫边校正

• 空间降噪

• 局部色调映射函数 

ISP 还提供动态范围管理，具有 24 位动态范围处理单元。 

Arm 表示，新的 ISP 总共内置了 280 多个故障检测电路。

Mali-C78AE 的功能图。图片由 Arm提供

从系统层面来看，该设备旨在与其他 Arm 产品相结合，例如 Cortex-A78AE 和 Mali-G78AE。 

据 Arm 称，这三个单元的组合可以提供针对性能和安全性进行优化的完整 ADAS 视觉管道。到目前为止，该设备本身已获得 ASIL-B 汽车安全等级。

总而言之，Arm 希望为其 ADAS 产品创造进化的下一步。 

ADAS 的下一步

随着 ADAS 继续集成到当今几乎所有的新车中，ISP 将继续成为必需品。 

借助 Mali-C78AE，Arm 希望为行业提供改进的解决方案，提高整体系统的安全性和性能。