作者丨汪宁非
编辑丨机器之心
来自加州大学尔湾分校（UC Irvine）的研究者发现，L4 自动驾驶里用的最广泛的用来提高系统鲁棒性的多传感器融合感知（Multi-Sensor Fusion based Perception）技术存在一个安全漏洞，使得攻击者可以 3D 打印出一个恶意的 3D 障碍物，放在道路中间，从而让自动驾驶车辆的 camera 和 LiDAR 机器学习检测模型都识别不到。这项研究已经正式发表在计算机安全四大顶会之一 IEEE S&P 2021。
在自动驾驶系统里，「感知」实时周围物体是所有重要驾驶决策的最基本前提。感知模块负责实时检测路上的障碍物，比如周围车辆、行人、交通锥 （雪糕筒）等等，从而避免发生一些交通事故。当前，L4 自动驾驶系统逐渐商业化，其普遍采用多传感器融合的设计，即融合不同的感知源，比如激光雷达（LiDAR）和摄像头（camera），从而实现准确并且鲁棒的感知。
在这样的设计中，根据「并非所有感知源都同时被攻击（或可以被攻击）」这一假设，总是存在一种可能的多传感器融合算法，可以依靠未被攻击的源来检测或防止单感知源攻击。这个基本的安全设计假设一般都是成立的，因此多传感器融合通常被认为是针对现有无人车感知攻击（单感知源攻击）的有效防御策略。
来自加州大学尔湾分校（UC Irvine）的研究者发现，在识别现实世界中，这种多传感器融合的障碍物感知存在漏洞。通过这个漏洞，可以同时攻击不同的感知源，或者攻击单个感知源（只有 LiDAR 或者 camera 的检测），使得无人车无法成功检测前面的障碍物并直接撞上去。
论文链接：https://arxiv.org/pdf/2106.09249.pdf
在这项工作中，我们首次对当今无人车系统中基于多传感器融合的感知进行了安全分析。直接挑战了上述基本的安全设计假设，证明了「同时攻击自动驾驶多传感器融合感知中所有感知源」的可能性。这使我们第一次具体了解到使用多传感器融合作为无人车感知的一般防御策略能提供多少安全保障。
具体而言，我们发现恶意 3D 障碍物可以被用作针对基于多传感器融合的无人车感知的攻击载体，同时具有有隐蔽和物理上可实现的特点。3D 障碍物的不同形状可以同时导致 LiDAR 点云中的点位置变化和 camera 图像中的像素值变化，因此攻击者可以利用形状操作，同时向 camera 和 LiDAR 引入输入扰动。这样的攻击载体还有另外两个优点：
(1) 它很容易在物理世界中实现和部署。例如，攻击者可以利用 3D 建模构建这类障碍物，并进行 3D 打印。目前市面上有很多在线 3D 打印服务，攻击者甚至不需要拥有 3D 打印设备；
(2) 它可以通过模仿能合法出现在道路上的正常交通障碍物，如交通锥或障碍物（如石头），并伪装为比较常见的磨损或破损的外观，实现高度隐蔽性（如图 1）。
图1：生活中路面可能出现的形状奇怪或破损的物体
为了使其既容易部署又能造成严重的碰撞，攻击者可以选择较小的障碍物，如岩石或交通锥，但用花岗岩甚至金属填充，使其更硬更重。例如，一块 0.5 立方米的石头或一个 1 米高的交通锥，里面填充一些铝，很容易超过 100 公斤，如果汽车在高速行驶时撞到，有底盘损坏、撞碎挡风玻璃甚至失去控制的风险。另外，攻击者还可以利用某些道路障碍物的功能（如交通锥作为标识的功能）。例如攻击者可以设计一种仅针对无人车的攻击，将钉子或玻璃碎片放在生成的恶意交通锥障碍物后面，这样，人类驾驶员能够正常识别交通锥并绕行，而无人车则会忽视交通锥然后爆胎。在这里，安全损害并不是需要由碰撞交通锥体本身造成的，因此在这种情况下，恶意的交通锥体可以像普通交通锥体一样小而轻，以使其更容易 3D 打印、携带和部署。
为了评估这一漏洞的严重性，我们设计了 MSF-ADV 攻击，它可以在给定的基于多传感器融合的无人车感知算法中自动生成上述的恶意的 3D 障碍，创新性设计可提升攻击的有效性、鲁棒性、隐蔽性和现实生活中的可实现性（如图 2）。我们选择了 3 种障碍物类型（交通锥、玩具车和长椅）进行测试，并在真实世界的驾驶数据上进行评估。我们的结果显示，在不同的障碍物类型和多传感器融合算法中，我们的攻击实现了 >=91% 的成功率。
我们还发现，我们的攻击是（1）基于用户研究，从驾驶者的角度看是隐蔽的；（2）对不同的被攻击车的位置和角度具有鲁棒性，平均成功率 > 95%；（3）制作出来的恶意的 3D 障碍物可以有效转移并用于攻击其他 MSF 算法，平均转移攻击成功率约 75%。
图 2：基于优化的恶意的 3D 物体生成概述。
为了了解攻击在物理世界中的可实现性和严重性，我们 3D 打印了生成的恶意障碍物（图 3），并在使用了多传感器融合感知得真车上进行评估。图 4 是我们使用的装配了 LiDAR 和 camera 的测试车辆。我们发现恶意的障碍物可以在总共 108 个传感器帧中的 107 帧中（99.1%）成功躲过多传感器融合的检测。在一个微缩模型的实验环境中（图 5），我们发现我们的恶意的障碍物在不同的随机抽样位置有 85-90% 的成功率逃避多传感器融合感知的检测，而且这种有效性可以转移。
图 3: 3D 打印出来的恶意障碍物
图 4: 安装 LiDAR 和 camera 的真车设置和检测结果 （攻击演示视频：_https://www.youtube.com/watch?v=N96L53bIPdM&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=3_ ）
图 5: 微缩模型的实验环境和检测结果 （攻击演示视频：_https://www.youtube.com/watch?v=VLUW6yqyGKo&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=2_ ）
为了了解端到端的安全影响，我们使用产品级的无人车模拟器 LGSVL 进一步评估 MSF-ADV（图 6）。在 100 次运行中，我们的恶意的交通锥对 Apollo 的无人车造成 100% 的车辆碰撞率。相比之下，正常交通锥体的碰撞率为 0%。
图 6: Apollo 和 LGSVL 在端到端攻击评估的截图 （攻击演示视频：_https://www.youtube.com/watch?v=ph4FppYVc5U&list=PLlViq2qGRmiZDEmwS4cwfMI5dX3c97Efo&index=4_）
多传感器融合不是自动驾驶安全的万全之策
这项研究的主要贡献是让大家意识到多传感器融合感知同样存在安全问题。很多前人工作事实上把多传感器融合当做对于单个传感器攻击的有效防御手段，但是之前却并没有文章去系统性的探究这一点。我们的工作填补了这一个关键的知识空白，证明其实并不完全是这么一回事。我们生成的 3D 恶意的障碍物可以让多传感器融合感知系统失效，从而导致无人车撞到这种物体上并造成交通事故。
我们认为比较切实可行的防御手段是去融合更多的感知源，比如说更多的不同位置的 camera 和 LiDAR，或者考虑加入 RADAR。但是这不能从根本上防御 MSF-ADV，只能是说让 MSF-ADV 生成过程更加困难。我们已经就这个漏洞联系了 31 家自动驾驶公司，同时建议它们应用这些缓解手段。我们觉得不论是研究者还是自动驾驶公司都需要投多更多精力去系统性地探究自动驾驶里的的安全问题。
其他问题：
为了实现同样的攻击目标，为什么攻击者不能直接向无人车扔石头或者直接在无人车前面放钉子或玻璃碎片？
我们是计算机安全研究人员，所以我们的目标是研究特定于计算机技术（在我们的例子中指的是自动驾驶）的安全漏洞。我们的最终目标是在计算机技术层面修复它们。扔石头、放钉子或玻璃碎片并不是针对于无人驾驶这种特定技术的攻击，非无人驾驶车辆也会受到损害，同时这样的研究也无助于暴露出无人驾驶技术中的安全隐患相比之下，我们的恶意的障碍物可以被人眼正确识别出来，但无人车系统却无法正确识别，这个才是我们需要研究的技术问题。通过发现和解决此类问题，无人车技术可以更好地接近人类驾驶的水平和性能，从而实现无人车技术的最终目标：代替人类驾驶。
一般车上都有的紧急刹车系统可以防御这种攻击吗？
紧急刹车系统可以减轻它的的风险，但既不能完全防止此类攻击，也不能消除防御攻击的需要。首先，无人车系统必须设计为能够自行处理尽可能多的安全隐患，而不是完全依赖紧急刹车系统。紧急刹车系统仅设计为紧急情况或者备用安全保护措施；_它永远也不应该用来代替无人车警觉性_ (https://www.motortrend.com/news/automatic-emergency-braking/)。就像司机驾驶一样，没有人完全依赖紧急刹车系统来确保安全；我们必须始终保持谨慎并尽可能的主动做出安全决策，然后仅依靠紧急刹车系统作为在极端情况下尽力而为的后备保护。因此，我们必须要想办法在无人车系统级别上解决这种漏洞。
其次，现如今的无人刹车系统本身际上远非完美，并且可能具有很高的漏报率。例如，_AAA 报告称，很多车（例如雪佛兰迈锐宝、本田雅阁、特斯拉 Model 3 和丰田凯美瑞）的紧急刹车系统故障率为 60%_ (https://www.zdnet.com/article/does-your-car-have-automated-emergency-braking-its-a-big-fail-for-pedestrians/)。此外，即使无人车的紧急刹车系统能够成功紧急停车，但是也无法避免无人车被后面的车追尾。
我们有对无人车公司进行漏洞报告吗？他们是怎么答复的？
截至 2021 年 5 月 18 日，我们对 31 家开发或者测试无人车的公司进行了漏洞报告，其中 19 家（约 61%）已经回复了我们。根据答复，大多数公司目前都在调查它们是否会受到影响以及受到的影响程度。有些公司已经与我们开会讨论他们的调查。
本次研究作者团队，来自加州大学尔湾分校、密西根大学安娜堡分校，亚利桑那州立大学，伊利诺伊大学厄巴纳 - 香槟分校，英伟达 Research，中国百度深度学习技术与应用研究和国家工程实验室，嬴彻科技，一共有 9 名研究人员。四位同等贡献第一作者来自加州大学尔湾分校，密西根大学安娜堡分校，亚利桑那州立大学和英伟达 Research，分别是 Ningfei Wang, Yulong Cao, Chaowei Xiao 和 Dawei Yang。三位教授分别是 Qi Alfred Chen, Mingyan Liu, Bo Li。以及两位来自于百度和嬴彻科技的研究人员，分别是 Jin Fang 和 Ruigang Yang。
项目网站：_https://sites.google.com/view/cav-sec/msf-adv_ (https://sites.google.com/view/cav-sec/msf-adv)
