将来自不同传感器的多幅图像组合在一起，可以有效地检测自动驾驶汽车的距离和潜在危险。
Pablo García-Gómez, Jordi Riu, Santiago Royo, Beamagine SL
成像激光雷达传感器是自动驾驶汽车感知任务系统的主要组成部分之一。车辆运动时激光雷达产生的3D数据被认为是有用的，因为这些数据是测量实时物理事件的结果。这些事件包括两个激光脉冲之间的时间延迟(在脉冲飞行时间技术的情况下)或返回信号的多普勒偏移(在频率调制连续波方法中)。
预装基于三维点云分析的自动人体检测感知软件。Beamagine礼貌。
与其他3D技术(如立体视觉)不同，激光雷达的后处理是不必要的，因为收集3D数据不依赖于使用软件算法。激光雷达还自带照明光源，消除了对外部照明的依赖。然而，尽管激光雷达数据在整个汽车行业都被证明是可靠的，但为了提高可靠性，该模式必须与其他传感技术相结合，无论是用于自动驾驶汽车还是用于关键应用的感知系统。十博体育靠谱吗这些车辆和系统不允许错误探测。第二、甚至第三种信息来源一致地记录了相同的视场(FOV)，有助于减少对特定技术的依赖，并将感知失败的几率降至最低。
一致的数据融合
最常与激光雷达结合的传感器是雷达和相机，它们一起可以收集任何波段的光谱信息，从可见波长到长波红外(LWIR)。采用数据融合技术将来自各个传感器的信息进行融合。两种主要的方法是早期数据融合和晚期数据融合。早期融合方法是在感知前融合图像数据，而晚期融合方法是在感知后融合物体层面的信息。早期融合方法已被证明可以提供更高的可靠性1。
然而，早期的选择必须更精确地融合从各种成像模式接收到的图像。视差这些问题会导致激光雷达的3D数据和摄像机的图像在所有距离的整个视场中不太一致，从而危及整个系统的鲁棒性。视差很常见，在某些情况下无法避免，特别是当传感器分布在车辆表面时。视场的不同视角可能使数据融合软件难以管理。
此外，传感器系统的制造商必须提供一个终身保证的机械校准后的产品。如果系统接收到哪怕是少量的失真信息，传感器之间的视差不对准结果，就需要一个新的校准过程。
最近开发的组合成像系统包括激光雷达传感器，并使用一致性数据融合——同时集成来自所有距离的数据——作为其主要功能之一(图1)。该功能允许在所有距离进行精确和无视差融合。该传感器的标准版本包含两种互补类型的摄像机:RGB(可见光)和LWIR(低红外)，用于收集热数据。
图1所示。L3CAM集成了三重传感器。侧窗与激光雷达孔径相对应，中央顶部区域集成了RGB摄像头，中央底部窗口包括热成像摄像头。Beamagine礼貌。
然而，可以使用其他波长成像的相机，如近红外、短波-红外、中波-红外、偏振甚至多光谱相机。摄像机集成在同一个外壳内，因此机械对准得到保证。
从三个对齐的传感器收集的信息没有视差问题，可以通过用户自己的感知软件算法进行管理。表中显示了传感器系统中分离相机与集成相机的比较。
图2和图3显示了各种成像模式的示例。
图2。三维点云图像(一)， RGB图像(b)，以及热成像(c)。Beamagine礼貌。
图3。3D图像数据与RGB数据重叠(一)。三维图像数据与热数据重叠(b)。Beamagine礼貌。
减少误报率
互补成像模式的结合可以有效降低人工智能感知软件使用时的虚警率。使用冗余和互补的数据源可以让用户找到更多的方法来面对感知挑战2。自动行人检测的感知AI就是一个例子。使用实时目标检测系统和YOLO (You Only Look Once)算法等资源，可以在RGB摄像头的视场内检测人体。
在理想的工作条件下，该工具在检测人(故事的lead image)时可以达到>90%的效率。然而，当条件不理想时(例如在晚上或恶劣天气)，误报率迅速增加。照明的变化，小截面目标检测的要求，或恶劣天气的存在，可以使组合成像系统无效，因为频繁的假警报。
在具有挑战性的条件下，具有互补故障模式的传感器可用于提供目标检测的冗余性，以及容错性，以帮助避免收集不可靠的数据。例如，热成像相机作为RGB检测的补充，因为它们在夜间和雾天提供比RGB相机更好的性能。激光雷达可以确定物体的大小，从而消除在不同距离上计算宽高比的不确定性成为可能。这种三传感器组合大大降低了误报率，提高了人工智能软件的鲁棒性，实现了人工智能感知的可靠训练。
固态扫描
市场主要集中在激光雷达应用中的固态设备，因为它们缺乏大型移动元件。大型机械装置，如在光学图像生成过程中介入的马达或旋转磁头，是安装在车辆上时可能失效的关键部件。已经证明，由于MEMS扫描仪的共振频率高于典型车辆的振动频率，因此它们对振动的敏感性低于电动系统3.。这使得传感器系统更能适应车辆在现实环境中的操作。
激光雷达传感器是专为快速行驶的车辆(如汽车)设计的，它的一个关键方面是能够探测到道路上的任何物体。为了完成这一任务，垂直轴上点云的分辨率变得至关重要。通常情况下，任何大于10厘米的物体都可能损坏保险杠，所以车辆的感知必须能够及时检测到物体以改变航向。
一个像样的垂直视场与足够的垂直角度分辨率和距离的组合是不容易实现的。生成的点云必须包含大量的线，通常在200左右。只要集成传感器系统的y轴分辨率不局限于固定数量的发射器或接收器，该分辨率可由用户配置。
然而，激光雷达带来了权衡，其中之一是，在y轴上增加的分辨率转换成较低的帧率。在Beamagine的L3CAM配置的情况下，它包含200条水平线(图4)，帧速率将被限制为10帧/秒。
图4。一个600 × 200像素的单帧点云图像。Beamagine礼貌。
应用程序
车载机器人是该系统的主要应用之一，特别是当机器人在户外工作时，需要远距离探测障碍物的能力。汽车工业和卫星对接是这项技术的另一个目标。
传感器系统中分离相机与集成相机的技术指标比较
然而，任何需要传感的平台——包括船舶、起重机、火车、无人机和越野车——都可以与这些系统兼容。其他应用包括用于安全和监视的静态安装，如入侵检测、周界保护、监控无人值守的控制中心、检测铁轨上的人，以及人群分析。
满足作者
Pablo García-Gómez是加泰罗尼亚技术大学光学工程的博士生，他在那里获得了物理工程的硕士学位。他正在Beamagine完成与激光雷达图像融合相关的博士工作，同时为大学的各种研究项目作出贡献。
Jordi Riu是Beamagine的首席执行官和联合创始人。他拥有加泰罗尼亚技术大学的电子学硕士学位和光学工程博士学位。他的博士学位研究以基于MEMS扫描仪的固态激光雷达成像为核心，并获得了多项专利。在过去的10年里，他一直致力于激光雷达成像的硬件开发。
Santiago Royo是Beamagine的联合创始人，他是该公司的业务发展副总裁。他也是光电公司SnellOptics和ObsTech SpA的联合创始人。Royo拥有17项专利，其中11项被授权给4家不同的公司。他为50多篇同行评议出版物撰写论文。10bet 公司
参考文献
1.T.Y. Lim等人(2019年12月)。先进驾驶辅助系统中雷达与相机的早期融合检测。第33届神经信息处理系统大会(NeurIPS 2019)上的自动驾驶机器学习研讨会。
2.R. Hebbalaguppe等人(2016)。减少监控摄像头网络中蜘蛛/蜘蛛网引发的假警报。IEEE图像处理国际会议凤凰城,www.doi.org/10.1109/icip.2016.7532496。
3.j . Iannacci(2015)。MEMS的可靠性:对失效机制、改进方案和开发层面的最佳实践的观点。显示，第37卷，第62-71页。