基于毫米波雷达和机器视觉的夜间前方车辆检测

点击下方卡片，关注“新机器视觉”公众号

视觉/图像重磅干货，第一时间送达

来源 | 汽车自动驾驶技术

为研究夜间追尾事故中本车智能防撞预警方法，本文提出了一种基于毫米波雷达和机器视觉的前方车辆检测方法。利用多传感器融合数据，检测前方车辆的距离、速度等。建立传感器之间转换关系，转换雷达目标的世界坐标到图像坐标。

在图像上形成感兴趣区域，利用图像处理方法减少干扰点，运用 Dempster-Shafer（D-S）证据理论，融合特征信息，得到总的信任度值检验感兴趣区域内的车辆。实验采集多段夜间道路行车视频数据，统计实现尾灯识别的帧数，与主观判断进行比较。结果表明：该方法能够实现对夜间前方车辆的检测和定位。

道路交通事故中由追尾相撞导致的事故占很大比例，而夜间交通事故尤为严重，约占交通事故总数的 40%。夜间车辆检测技术已成为智能车辆安全辅助驾驶系统的重要组成部分，用于准确地识别夜间前方车辆，为驾驶员及时提供前方车辆信息及路况，降低夜间交通事故的发生 。

夜间由于光线强度不够，大部分白天的车辆特征信息已经不可用，因此用于白天的车辆检测算法基本失效。车辆尾灯是夜间车辆的明显特征，目前，对于夜间前方车辆检测识别的研究主要是利用单目视觉传感器，获取车辆前方的视觉感知信息，基于图像信息提取尾灯特征进行前方车辆识别。

机器视觉是一种用于车辆检测的有效传感器，但其有一定的局限性，因此有文献提出综合考虑激光雷达和机器视觉的信息，进行前方目标车辆检测。虽然激光雷达和机器视觉在一定程度可以互补，但激光雷达对天气、灯光、障碍物表面光滑度等干扰非常敏感，不适合复杂道路环境。

由于毫米波雷达不易受外界干扰而且测量的距离精度高，可以准确获得前方车辆的速度、角度等深度信息。因此，本文提出利用毫米波雷达和机器视觉进行多传感器数据融合，通过先验知识筛选毫米波雷达探测到的障碍物数据，融合雷达数据和图像信息初步确立动态感兴趣区域（Region of Interest，ROI），在缩小的范围内基于视觉传感器提取表征车辆的特征，运用 D-S 证据理论（Dempster-Shafer Evidential Theory）融合信息，减少了计算量和主观阈值对检测精确度的影响，提高了执行速度和车辆定位的准确性。

01

夜间车辆检测算法实现

整个过程分为假设产生（Hypothesis Generation，HG）和假设检验（Hypothesis Verifcation，HV）两部分：

假设产生过程利用雷达获取候选目标的的距离、角度、速度等信息，进而得到候选目标的世界坐标，利用摄像机标定原理得到世界坐标与图像像素坐标的转换关系，初步确定候选目标在图像上的区域，即感兴趣区域 ROI；

假设验证过程是通过改进的自适应阈值确定方法（大津法，OTSU 法）进行图像分割处理，进而利用图像处理方法、先验知识和 D-S 证据理论对感兴趣区域检测是否存在车辆特征。

 

图 1  夜间前方车辆检测方法流程图

 

算法流程图如图 1 所示。

02

假设产生（HG）

2.1 雷达数据处理及初选目标的确定

毫米波雷达接收到的是十六进制数据，根据雷达协议解算数据，并提取可以用于车辆检测的有效信息包括：前方车辆相对于本车的角度、距离、速度、反射强度。在实际测量中，毫米波雷达获取的信号有一部分是空目标信号、无效目标信号、静止目标信号，首先要去除这 3 种目标信号的干扰。

根据国家规定车道宽度设置横向宽度阈值，进行目标与自车的同车道判断，保留行驶方向距离阈值和相对速度阈值内的目标，对筛选出的前方目标由近及远的原则重新排序，使用同车道近距离原则初选有效目标，如表 1 所示。

 表 1  初选有效目标信号

 

表 1 中：ID 表示雷达检测得到的目标信号的标准帧号；α、R、Δv 分别为本车与目标信号的相对角度、相对距离、相对速度（∆v = v1 - v0，v1 为目标速度，v0 为本车速度）；p 从目标返回信号的强度，即反射率。

长距离的毫米波雷达扫描范围是 1~175 m，中距离是 1~60 m。距离小于 1 m 时雷达就不能识别物体。以避免车辆行驶过程中与前方车辆发生追尾碰撞为出发点，在有效目标选择过程中最关注的是与本车位于同一车道的前方最近车辆。当 Δv＜0，有出现追尾事故的可能。因此，把雷达扫描近距离 1~60 m 内、离本车最近且 Δv＜0 的车辆作为初选目标。

 

2.2 雷达数据和机器视觉的融合

雷达和机器视觉是不同坐标系的传感器，因此要实现雷达和机器视觉的空间融合，必须建立两传感器所在坐标系的转换模型，即雷达坐标与图像像素坐标之间的转换。雷达坐标系与图像像素坐标系之间有着密切的联系，按照右手系原则建立坐标系，由式 (1)-(2) 确定坐标系之间的空间位置关系。

将世界坐标系中的点 ( XW, YW, ZW ) 变换到图像像素坐标 ( u, v )，转换公式为：

 

 

式中：( XW, YW, ZW, 1 )^T 是点的世界坐标，与其对应的摄像机齐次坐标是  ( XC, YC, ZC, 1 )^T，dx 与 dy 分别表示每个像素在横、纵轴上的物理单位下的大小，f 是摄像机的焦距，s' 表示因摄像机成像平面坐标轴相互不正交引出的倾斜因子（Skew Factor），R 代表旋转矩阵（为一个 3×3 的正交单位矩阵），t 代表平移向量，I 是元素全为 1 的对角矩阵，O=(0, 0, 0)^T。

毫米波雷达获取的前方障碍物信息是在极坐标下的二维信息，将障碍物 P 的极坐标下的二维信息转换到直角坐标系中，雷达坐标系的 X0O0Z0 平面与世界坐标系的 XOZ 平面平行，两平面之间的距离为 Y0，通过雷达可以得到前方车辆中心点投影到雷达扫射平面内的点 P 相对雷达的距离 R 和角度 α，确定点 P 在世界坐标系下的坐标，转换关系如下：

 

由雷达获得前方车辆形心点的输入，综合以上建立雷达坐标系和图像像素坐标系之间的相对关系，即可获得前方车辆在像素平面的投影，基于车辆的常用外形（宽高比）投影在像素平面上，建立可以根据距离变化的动态感兴趣区域，缩小在图像上的搜索时间，减少计算量。通过统计发现一般车辆的宽高比在 0.7~2.0 范围内，常见轿车、运动型多功能车（Sport Utility Vehicle，SUV）、面包车、商用车辆等车型的宽高比在 0.7~1.3 范围内，为了避免后续尾灯检测时会遗漏尾灯目标，本文选取常见几种车型的最大宽高比 W/H=1.3。

动态感兴趣区域的确定如下：

 

 

式中：( x_lt, y_lt )，( x_rb, y_rb )分别为动态感兴趣矩形区域的左上角点和右下角点的像素坐标，( x, y )为车辆形心点的像素坐标。

 

图 2  雷达扫描图

 

图 3  雷达目标在图像上的的 ROI

 

雷达扫描图如图 2 所示。雷达坐标系中的目标经坐标转换关系在图像上形成的感兴趣区域如图 3 中的 (a) 列所示。动态感兴趣区域的大小会随目标的距离发生变化，以更适合的尺寸截取感兴趣区域图像进行下一步检测验证，缩小了检测范围，从而减少计算量提高检测实时性。获取的感兴趣区域图像如图 3b 列所示。

 

03

假设验证（HV）

3.1 图像分割

前方车辆尾灯对的灰度级与路面及背景的灰度级有明显区别，采用阈值分割的方法可以快速准确地将尾灯对分割出来。

本文采用改进的 OTSU 算法分割图像，凸显出表征车辆特征的尾灯部分。改进的 OTSU 算法是以传统 OTSU 为基础，从最小灰度值到最大灰度值遍历，当灰度 T 使得方差 σ^2 = w_0*w_1*(μ_0-μ_1)^2 最大时，再次利用传统 OTSU 对图像中大于 T 的部分从灰度 T 到最大灰度值遍历，得到阈值 T0 使大于灰度值 T 的部分的方差最大，提取阈值 T0，用 T0 对感兴趣区域图像进行二值化分割，目标灰度为 1，背景灰度为 0。

 

图 4  分割后图像

 

分割后的图像如图 4 所示。

 

3.2 基于图像形态学及先验知识的图像处理

由于噪声的影响，图像在阈值化后所得到的边界往往是很不平滑的，物体区域具有一些噪声孔，背景区域上散布着一些小的噪声物体，对分割后的图像进行图像形态学开闭运算处理，用来消除小物体、在纤细点处分离物体、平滑较大物体的边界，同时并不明显改变其面积。腐蚀操作会去掉物体的边缘点，细小物体所有的点都会被认为是边缘点，因此会整个被删去。再做膨胀时，留下来的大物体会变回原来的大小，而被删除的小物体则永远消失了。膨胀操作会使物体的边界向外扩张，如果物体内部存在小空洞的话，经过膨胀操作这些洞将被补上，因而不再是边界了。再进行腐蚀操作时，外部边界将变回原来的样子，而这些内部空洞则永远消失了。开运算和闭运算的运算规则如下：

 

 

通过对采集到的不同距离的 253 张像素为 768×576 的图片进行处理后统计，车辆明亮块的面积最小不低于 10，最大不超于 300，同一车辆的左右尾灯亮块之间的水平距离不小于 20 大于 300。同时，在 0~100 m 的距离范围内，在不同距离采集到的图像上的车辆尾灯亮块面积不小于 10，因此先通过亮斑的面积阈值和水平距离阈值去除感兴趣区域部分的一些干扰亮斑。

 

图 5  基于图像形态学和先验知识处理后的图像

 

本文通过采用图像形态学和先验知识处理后的图像如图 5 所示。

 

3.3 D-S 证据理论融合特征信息

对处理后的感兴趣区域部分的图像进行连通区域标记，提取图像上可以表征车辆的特征，包括：连通区域面积比、垂直方向重叠率，运用 D-S 证据理论，融合车辆的特征信息得到总的信任度值。

定义 1：设辨识框架 U 中的元素满足不相容条件，命题 A 对基本概率赋值函数 p 赋值 p(A) 是集合 2^U 到 [0,1] 的映射，满足如下条件：

 

 

本文定义辨识框架为 U={true,false}，记连通区域面积比 R_A、垂直方向重叠率为 R_O，辨识框架下的 2 个命题分别为 A_1、A_2，其相应的证据概率函数为 p_1、p_2，两连通区域面积比接近 1 的时候，连通区域属于同一车辆的概率比较大，垂直方向重叠率越接近 1，两连通区域在同一水平的概率越大，因此两个命题的基本概率函数值由下式确定：

 

 

 

采用 D-S 组合规则，对相容命题所对应的概率分配值进行融合，从而得到这些相容命题的交集命题所对应的概率分配值。假设 p_1 和 p_2 2 个基本概率函数的焦元分别为 B_1,⋯,B_k 与 C_1,⋯,C_k，运用正交和规则 p(A) = p_1 ⊕ p_2 得到 2 个证据体的组合输出为：

 

p(A) 即是 p_1 和 p_2 的综合概率赋值。

 

图 6  运用 D-S 证据理论融合信息检测出的车辆尾灯

 

最终设立信任度阈值验证车辆如图 6 所示。

 

图 7  不同尾灯检测图

 

图 8 不同干扰状态检测出的车辆尾灯

 

不同尾灯检测结果见图 7；不同干扰状态检测出的车辆尾灯检测结果见图 8。

通过对不同车型试验，本方法的视觉验证可以实现对不同大小、形状的尾灯的验证；在实际行车时，会出现前相邻车辆开启转向灯、前后车辆距离过近造成前相邻车辆的尾部会出现大面积反光、摄像机晃动的情况，这几种干扰状态下视觉验证也可以实现对尾灯的验证。

 

04

试验结果

图 9  夜间前方车辆识别

 

试验的硬件运行环境为 Intel 奔腾 E6500 CPU，软件环境包括 Windows XP 系统，VC++ 6.0 集成开发环境和 OpenCv 开源计算机视觉库。采集夜间道路上行驶车辆的视频数据，利用搭建的毫米波雷达与视觉系统进行识别与判断。车辆检测的实验结果如表 2 所示。夜间环境条件下的前方车辆识别效果如图 9 所示。

 表 2  车辆检测的实验结果

 

经统计部分视频数据并与人员主观判断比较，其中包含车辆图像共 1170 帧，识别出车辆尾灯的图像共 1060 帧，准确率达 90.6%。因此，本文方法在夜间环境下具有较好的检测效果；车辆所处环境的光照条件较差，存在路灯、地面反光等干扰光源，且路灯与车灯相似，但检测系统仍可以准确识别车辆尾灯，标记出车灯位置。

 

05

结论

试验表明通过雷达可以确定前方车辆的距离、速度等信息，并形成感兴趣区域。在感兴趣区域内采用基于机器视觉的图像信息验证车辆，这不仅可以减少外界环境的干扰，还可以缩小检验范围，减少计算量。

试验结果表明：研究使用的毫米波雷达和机器视觉融合的方法可以有效识别夜间前方车辆。该方法对于不同形状的车辆尾灯具有很好的识别效果。由于车尾灯重叠或遮挡会发生验证失误，这是下一步研究的重点。

本文仅做学术分享，如有侵权，请联系删文。

—THE END—