文章：Automatic Building and Labeling of HD Maps with Deep Learning
作者：Mahdi Elhousni, Yecheng Lyu, Ziming Zhang, Xinming Huang
翻译：particle
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
●论文摘要
在一个自动驾驶汽车越来越普遍的世界里，为这项新技术创造一个足够的基础设施是至关重要的。而这项基础设施就包括准确有效地构建带有标签的高精地图。如今，制作高精地图的过程需要大量的人工投入，这种方式不仅需要时间，而且容易出错。在这篇论文中，我们提出一个新的方法，能够从原始传感器数据中通过AI自动生产带有标记的高精地图。使用从测试车辆收集的数据，在多个城市场景中实施并测试了我们的方法。结果表明，所提出的基于深度学习的方法可以生成高精度的地图。这种方法加快了高精地图的生产和标注过程，为自动驾驶车辆的部署做出了有意义的贡献。
● 相关工作与介绍
深度学习是自动驾驶的催化剂，在车道线以及障碍物的检测都十分出色，有时在激光雷达的融合下能够缓解深度和二位图像的精度问题，这有助于汽车安全驾驶，让汽车更智能的遵守交通规则。然而自动驾驶仅仅基于深度学习和相机的方法是注定失败的，因为相机的主要缺陷是受环境的亮度影响较大，那么这个弱点就需要将相机的数据与更加精确的传感器数据来融合弥补，那就是高精地图。
高精地图是三维点云和相关予以信息的组合，3D的点云可用于车辆的定位，为了能够进行自主导航，所以需要构建点云数据的车道，道路和交通标志等位置信息，但是由于点云没有颜色信息，标记的点云数据上的标记位置明显缺乏准确性。仅仅依赖点云的强度将会导致更多的噪声数据，因此本文提出了基于深度学习的自动完成高精地图标注和生成的方法，并且与其他方法结合，以提高标注的准确性和鲁棒性，文章的主要贡献可以概括为一系列算法和流程，旨在为城市自动驾驶自动生成和标记高精地图。
● 内容精华
地图构建流程
本文提出的地图绘制流程主要是在高精地图上标注道路信息的同时，构建周围环境的三维几何信息。在这里，我们标注的道路信息是可驾驶区域和车道。图1显示了整个流程的概况。为了清晰起见，我们定义了三个帧：地图帧Fm，其原点是地图开始处第一次扫描的中心，汽车帧Fc，其原点是车辆的中心，而激光雷达帧Fl的原点是激光雷达传感器的中心。
图流程 结合3D-NDT和预训练的DNN生成带标签的高精地图
道路地图
我们将道路R定义为Fm框架中的多边形，限制了可驾驶的区域，但不一定合法。进行道路测绘有两个主要原因：
•当道路上没有车道时，它可以引导自动驾驶车辆，有时单向街道也是如此。
•它可以帮助我们描述的车道图。道路检测使用摄像机数据，投影到激光雷达数据上，经过细化以去除异常值，然后使用3D NDT算法的输出与先前的扫描进行累积。然后计算道路占用的区域并提取道路界限。我们将在下面的每个步骤中解释这些步骤。图2显示了道路绘制流程的概述。
道路地图绘制流程。对来自摄像机FCN的结果进行修剪以去除异常值
检测：对于检测道路，我们使用完全卷积网络（FCN）。将该网络应用于前置相机数据，将图像分割为两个区域：道路区域和非道路区域。这将产生一个二值图像，我们将结合激光雷达相机融合来分割出道路的点云。
投影：我们首先使用相机参数来裁剪点云，这样我们就只对相机视野范围内的点进行操作。然后，利用激光雷达摄像机之间的外参，将二值图像投影到点云上，同时保证图像中的颜色信息被保留并传输到点云上。这将生成一个二进制点云，其中道路点的颜色与点云上的其他点不同。
路沿检测：在某些情况下，FCN检测到的道路往往会在路沿边缘，尤其是当由于阴影、亮度变化或路沿太小而在图像框中难以区分路沿时。因此，我们需要通过移除预测道路中包含的所有路沿部分来改进FCN的结果。
道路点云高程z直方图
为此，我们根据z轴使用彩色点云和高程信息。我们首先使用基于颜色分割的方法从之前获得的彩色点云中提取道路点云，然后，如图3所示，我们将道路点云中的点的高程显示为直方图。它表明，提取的道路点云中的点遵循双峰分布，即包含两个峰值的分布，代表两个正态分布，平均值分别为µ1和µ2，标准差分别为σ1和σ2。这是有意义的，因为第一个法线分布表示路沿上的点，第二个法线分布表示道路上的点。在这种情况下，检测路沿包括将双峰分布分成两个正态分布，并排除包含路沿点的分布。为了实现这一点，我们使用了计算机视觉中常用的分割和聚类方法，称为Otsu方法（Otsu 1979）。
应用于双峰分布的Otsu方法计算将这两类（在我们的例子中是道路和路沿）分隔开的最佳阈值。这使得排除位于路沿石上的大多数点成为可能，如图4所示，并留下一部分点，其高程遵循正态分布，平均值为µ1，标准偏差为σ1。作为最终检查，为了去除其余的异常值，我们将68–95–99.7规则应用于结果分布，并排除高程位于µ1−σ1和µ1+σ1之外的所有点。
路沿检测之前（红色）和之后（绿色）的道路地图
区域提取：为了提取可驾驶区域的界限，需要计算投影到（x，y）平面上的道路点云的轮廓。这可以通过使用凹面外壳（CH）（Moreira和Santos 2007）实现，这是一种基于k-最近邻方法的算法，旨在生成描述平面上一组点所占面积的包络线。利用CH生成的包络线构造描述可行驶区域的多边形。
车道绘图
我们定义一条L作为一组点L= {P1，P2，…，PN}，其中π＝{xi，Yi，Zi}是FM帧中的i_0第四点的坐标。车道绘图生成是在道路上帮助自动驾驶车辆导航过程中，使其居中。使用相机数据检测车道，将其投影到激光雷达数据上，进行聚类和平滑处理以生成有意义的航路点，然后使用3D NDT算法的输出与先前的扫描进行累积。图显示了车道绘制过程流程的概述。
车道绘制流程。对来自相机机LaneNET的结果进行平滑和聚类以生成车道分割点云。
检测：对于车道检测，我们使用LaneNET。之所以选择此网络，是因为它能够检测到从前视相机可见的所有车道，而不仅仅是当前车辆的车道。网络输出与输入图像大小相同的掩模图像，其中属于车道的像素被标记和颜色编码。与我们对道路地图所做的类似，mask图像将与激光雷达相机校准相结合，生成车道点云。
投影：由于离汽车越远，激光雷达相机校准的精度就会越低，因此我们首先将“摄像机视场点云”裁剪到距Fl帧原点一定距离L的位置，然后再将车道遮罩投射到其上。这有助于保持车道的形状，因为我们将在前进过程中累积投影和点云。最后，利用颜色分割方法，提取出属于车道的点，形成车道点云。
聚类与平滑：生成的车道点云是有噪声的，并不总是遵循一个连贯的几何体。因此，我们建立了一系列的聚类和平滑步骤，这些步骤将被应用于车道点云，以生成一系列的路径点，这些路径点可以被自主汽车用来知道车道在空间中的位置。平滑和聚类应用于两个不同的层次：首先在Fl帧中处理单个扫描，然后在Fm帧中使用3D-NDT算法的输出将当前扫描与之前的扫描累积在一起。
车道生成：LaneNET有时无法检测到车道，原因可能是亮度/对比度突然变化，车道不在摄像机视野范围内，或者车道根本没有绘制在道路上。我们通过结合检测到的成功车道、路缘检测算法以及道路上的车道是平行的这一事实来处理这个问题。
首先使用路沿检测结果来检查是否检测到所有车道：根据路沿石的位置和车道宽度（由成功检测得出），我们可以判断是否检测到正确的车道数。如果某条车道缺失，我们使用最近的左车道或右车道生成它，方法是将上次扫描获得的车道点拟合为二次曲线，然后将每个点处的曲线法线与车道宽度相结合，生成一条新的车道。
● 实验
实验装置包括一台Lincoln MKZ，配备一台Velodyne Lidar VLP-16和一台FLIR PointGrey RGB摄像机，分别以10 Hz和30 Hz的频率记录。该车还配备了IMU/GPS，以辅助3D NDT算法。数据通过机器人操作系统（ROS）同步并记录为ROS包，然后离线处理。我们使用管道记录并构建了多个高精地图，从中我们选择了5个场景。每一个场景的选择都有特定的原因：
•选择直路是为了证明道路测绘管道中路沿检测步骤的有效性。
•选择CurveLoad以证明车道地图构建流程中平滑和聚类步骤的准确性。
•选择mergeLane是为了证明车道地图构建流程能够处理出现新车道的情况，并且我们不局限于最初的车道。
•选择交叉口来演示合并多张地图的结果。
•选择公路是为了证明构建地图流程在大面积区域仍然有效。
这些结果表明，车道地图流程能够准确标记车道并生成缺失车道
红色是地面真相，蓝色是在路边检测之前，绿色是在后面。
红色车道是地面真相，绿色车道是自动生成的。
●总结
在这篇论文中，我们提出了一个自动建立和标注自动驾驶汽车高精地图的流程方案。流程中依赖于深度学习网络的结果，这些网络被训练来检测可驾驶区域和车道。然后，这些结果会自动进行后期处理，以便进行更正、改进或完成。我们的流程处理结果与人工标注的地面真实情况进行了比较，证明了本文所用方法的准确性和有效性。
