视觉解决方案公司,恩智浦双目视觉ADAS解决方案

双目视觉ADAS芯片S32V234

S32V234采用四ARM Cortex A53作为核心CPU，以获得更高的性能功耗比。ARM Cortex M4用作片内MCU，用于实时控制关键IO(如CAN-FD ),并支持AutoSAR操作系统。该芯片包含可编程图像信号处理器(ISP)，因此匹配的图像传感器可以输出原始数据，从而降低材料成本，节省空间尺寸。

此外，该芯片还包含两个名为APEX2CL的视觉加速引擎。每个APEX2CL有64个本地计算单元(Cu ),并配有本地存储器和专用DMA。SIMD/MIMD(单指令多数据/多指令多数据)加速了图像识别过程。

另外，值得指出的是，考虑到ADAS系统对安全性和可靠性的严格要求，S32V234设计了ECC(错误检查和纠正)、FCCU(故障采集和控制单元)、M/L BIST(存储器/逻辑内建自测试)等多种安全机制，可以满足ASIL ISO 26262 B ~ c的要求

双目视觉ADAS的优势

与单目视觉相比，立体视觉的关键区别在于可以使用双摄像头从不同角度对同一目标进行成像，从而获得视差信息并计算目标距离。对于视觉ADAS应用，如果使用单目摄像头，为了识别行人、车辆等目标，通常需要大规模的数据采集和训练来完成机器学习算法，难以识别不规则物体；毫米波雷达和激光雷达测距虽然精度高，但成本和难度也高。

双目视觉最大的优势在于在保持低开发成本的前提下，实现一定精度的目标识别和测距，完成FCW(正面碰撞预警)等ADAS功能。

双目视觉测距的基本原理如图2所示：两个摄像机中目标点P的视差为d=EC DF，根据三角形的相似度推导出可用距离z=(fq)/d。其中，焦距f和相机光轴距离q可以认为是固定的参数，因此距离z可以通过求解视差信号d得到。

双目视觉的测距步骤

摄像机标定

图象采集

图像预处理

特征提取和立体匹配

三维重建

其中，摄像机标定是获取摄像机的内外参数和畸变系数，可以离线完成；然而，左右摄像机图像采集的同步性、图像预处理的质量和一致性，以及立体匹配(获取视差信息)和三维重建(获取距离信息)的实时性要求带来的巨大计算量，对在嵌入式平台上实现双目视觉ADAS提出了挑战。

双目视觉ADAS的应用

S32V234芯片有两个MIPI-CSI2摄像头接口，每个接口可以提供最大6Gbps的传输速率，可以用于左右摄像头的文章输入。因为两台摄像机分别输入两个MIPI通道，所以需要考虑它们之间的同步性。在外部图像传感器的配合下，S23V324可以支持不同的同步方式。如图3所示，图像传感器通常具有用于信号同步的场同步信号(VSYNC)和行同步信号(HSYNC ):

当两台摄像机以主从模式工作时，主机向从机发送同步信号。

当两台摄像机都工作在从机模式时，S32V234的内部定时器可以产生同步信号，同时发送给两台摄像机。

在S32V234中获取外部摄像头的图像信号后，可以通过内部ISP进行预处理。ISP模块包含多个内部处理单元，利用片内SRAM缓冲输入信号和中间结果，利用专用协处理器管理ISP处理单元的时序，从而实现流水线式ISP处理。内置ISP不仅可以节省双通道摄像头的成本，还可以利用其计算资源和带宽支持双通道高清图像信号的实时处理，从而保证双通道图像信号的质量和一致性。

双目视觉ADSA的求解

在双目视觉ADAS的应用中，最大的挑战来自于两幅图像的立体匹配和三维重建所需的巨大计算量。以FCW应用为例，要求视差信号的提取有足够的精度来保证测距精度，处理帧率要保持在一定的水平来保证预警的响应速度，所以要求嵌入式平台有足够的处理能力。

S32V234中集成的图像加速引擎APEX2的结构如图4所示。其并行计算结构、本地存储器和专用DMA设计确保了图像信号的高处理效率。ISP对图像信号进行预处理后，发送到DDR，APEX2引擎对图像进行分割，通过专用DMA发送到每个CU对应的本地内存CMEM。立体匹配所需的块匹配算法可以在不同的CU中并行处理，处理后的数据通过DMA送回DDR，由CPU进一步处理(如产生预警信号)或送到专用的DCU(显示控制单元)模块输出显示。

综上所述，基于S32V234的双目视觉应用的数据流如图5所示。在该应用中，数据流的流向是ISP-APEX2-DCU，A53作为主控CPU完成逻辑控制和必要的数据处理。通过这种流水线处理模式，可以充分利用各部分的计算资源。

利用S32V234开发板搭建双目视觉平台，对双通道720p@30fps文章信号进行处理，输出结果如图6所示。在从左到右的三张图中，目标与摄像机的距离分别为1m、2m和3m，显示结果通过冷暖色的变化来表示目标的距离。

结果表明，S32V234能够实时处理双目视觉信号，正确获得三维测距结果，同时通过芯片的多种安全设计，能够满足双目视觉ADAS系统的要求。

总结恩智浦的visual ADAS专用芯片S32V234集成了图像信号处理器ISP、图形加速引擎APEX2、3D GPU等专用计算单元，通过流水线处理架构，充分利用各种异构计算资源。不同计算模块对OpenCV、OpenCL、OpenVG等各种API的支持，增强了算法的可移植性。符合ISO26262标准的功能安全设计使芯片满足ADAS系统对安全性的严格要求。S32V234支持多种视觉ADAS和传感器数据融合解决方案，包括双目视觉，使我们在无人驾驶的道路上迈出了坚实的一步。