似乎有一个数字一直在自动驾驶行业被重申:“无人驾驶汽车在部署前必须行驶10亿英里。”这是基于这样一个假设，即无人驾驶汽车只需在路上多花些时间，就能模仿甚至超越人类的驾驶能力。
不过，卡内基梅隆大学副教授、Edge Case Research联合创始人兼首席技术专家菲利普•库普曼(Philip Koopman)并不认同这种假设。
“安全通常不在于你如何处理象征性的情况，关键是你如何处理边缘情况。”这是库普曼的一句经典名言。
一年多前，一辆特斯拉Model X在加州高速公路上撞上了混凝土隔离带，起火并导致司机死亡。美国国家运输安全委员会2018年夏天发布的一份报告没有将责任归咎于任何人。
调查显示，事故发生前7秒，Model X开始向左漂移，与前车保持一致，但在与前车保持4秒左右的距离后，它停止了跟随前车，并加速至巡航速度，然后撞上了隔离带。
近年来，特斯拉车主发生过很多次类似的事故。比如上面这段视频，2017年的一次擦碰，左侧黄色的车道线被路边工程护栏占用。当时车辆保持在规定的车道上，司机声称没有任何关于路障的警告。在这段视频中，这辆车似乎根本没有减速，也就是说AEB也没有被触发。
本周，Youtube上发布了一段新视频，视频显示一辆特斯拉Model S“据称”处于自动驾驶状态，撞上了混凝土隔离带，车身侧面被剐蹭，然后车又“安全”回到正常行驶状态。
根据视频的叙述，这辆车在高速公路上以每小时65-70英里的速度行驶。有一段路，中间的隔离墙没有与道路对齐，而是向右边出来了一部分，为路边的工程腾出空间。幸运的是，这次碰撞没有造成人员伤亡。
按照特斯拉此前公布的关于Autopilot里程积累并不断通过实际数据训练自动驾驶系统的方式，显然对于这些“意外状况”，还是非常棘手。
此前，有人士爆料，特斯拉所谓的利用数十亿英里的视频、雷达和司机的驾驶行为数据，创建可靠的神经网络，至少是营销策略。实际上，特斯拉每天在峰值时只消化几百兆字节的数据，所以这些里程中只有一小部分真正被发送到云端。
特斯拉的自动辅助驾驶系统一直在不断改进，但远非完美。
为什么是十亿英里？
库普曼认为，对于初创企业和汽车制造商来说，是时候考虑一种策略了，而不是尽可能多地开车。“十亿英里是不够的，因为蛮力（纯粹累计里程）的测试并不能保证你的安全。”
不管你测试了多少亿英里，总会有一些你没见过的奇怪的东西，如果你只依赖于处理你以前见过的东西，每次总会有一些你没见过的东西。
库普曼说:“目前汽车安全的很大一部分是基于这样一种信念，即人类会做正确的事情。而所有的算法，哪怕是机器学习的规则其实也都是工程师设定的。”
很多人都没有经历过诸如刹车失灵或引擎失灵的情况，而这些罕见的问题需要解决，即使它们是百万分之一的概率发生。“真正奇怪的事情发生的频率比你想象的要高得多。1亿辆汽车在路上行驶，每百万英里一次的事情一天内可能会发生好几次。”库普曼表示。
所有这些都归结到库普曼的观点，即无限的自动驾驶里程不足以制造出更好的自动驾驶汽车。他不相信一辆汽车能够了解所有可能的情况。相反，他希望看到汽车制造商详细说明这些里程实际上意味着什么，以及汽车在遇到新的障碍时会做什么。
更为关键的是，在某个时候，每次系统崩溃都是不同的，所以修复它并不能阻止下一次崩溃。比如，机器学习被认为是制造更好的自动驾驶汽车的关键，但目前机器缺乏取代人类驾驶员所需要的逻辑思维和推理。
Edge Case Research提倡一种全面的、“全堆栈”的安全方法。一项新技术将如何应用于现实世界？部署的安全风险是什么？为了保持安全，技术必须表现出什么样的行为？它必须在哪些环境和场景中可靠地运行？
安全的自动驾驶并不仅仅依赖可靠的硬件和无缺陷的软件。它还取决于行为和机器学习是否适合现实环境。这种复杂性很难用手工的、特别的工具来处理。未来需要依赖可靠的自动化来成倍增加安全专家的技能。
1997年，比尔•盖茨在一次科技大会上对与会者说过一句名言：汽车越来越贵，而电脑越来越便宜，功能越来越强大。我们都对电脑软件中的bug和崩溃有了容忍度，但对汽车却没有。
汽车安全是个大问题，一旦发现可能存在的缺陷，汽车就会被召回。
前航空航天系统工程师Michael DeKort近日在接受媒体采访时发出了严厉警告。DeKort此前曾抨击过无人驾驶汽车在道路上的影子测试或安全测试，通过安全员来来纠正自动驾驶系统的错误。“他们必须通过数千次甚至数万次来训练自己的系统应对数千种事故场景。”
如何有效处理边缘情况
感知是其中很大一部分，也是最大的挑战之一。
在DeKort看来，目前业界可用的是基于游戏的仿真模拟，远不能达到取代大多数场景阴影和安全驾驶所必需的质量。
这些问题包括几个方面，其中之一是这些系统基于游戏引擎的实时操作，这意味着它们运行得不够快。第二，他们的架构受到他们编写操作系统的方式的限制，他们无法加载需要加载才能实时运行的高保真模型。
比如，Edge Case Research推出的HOLOGRAM系统，可以补充传统的模拟和道路测试的感知系统。它可以帮助你找到你的感知软件表现出奇怪的，潜在的不安全行为的边缘情况。这使您有机会在这些问题影响系统安全和性能之前解决它们。
另外就是一个被称为MISSA的数据驱动安全方法，这比传统的基于检查表的方法更快更容易地构建安全案例。
对传统安全流程的一个常见问题是，安全案例在完成时就过时了。在复杂、快速发展的领域，比如自动驾驶汽车的开发，情况尤其如此。
MISSA的迭代特性意味着，通过改进现有模型，可以很容易地合并具有安全或关键任务含义的新特性。随着行为和确定的风险的发展，没有必要花费时间和成本重新创建手工故障树。
如果您已经完成了初步的危害分析，MISSA可以帮助您完成功能危害分析、验证计划等等。虽然每个系统都不同，但Edge Case Research估计使用MISSA的安全程序比传统的工具快5-6倍。
自动驾驶汽车公司目前主要将行驶里程和脱离次数作为衡量安全的指标，但Edge Case Research表示，即使是Waymo数十亿英里的模拟里程也不一定会让汽车暴露在现实的危及生命的情况下。
因为没有人能预知要模拟什么。
正确认识深度学习
应用深度学习来解决这些边缘案例存在一个主要问题：深度学习并不适合提供这样的保证。虽然可以根据已知数据集确定人工智能应用程序的准确性，但无法保证在实际情况下的性能，因为在实际情况中会出现边缘情况，并且必须处理不熟悉的数据。
深度学习系统在处理与之前所遇到的数据集非常相似的数据集时，能够提供令人震惊的结果，并超出预期。但是，由于它们推断信息的能力有限，无法预测它们在这些异常情况下将如何发挥作用。
事实上，很多深度学习理论都支持这样的观点，即在某种程度上，这些系统不可能理解与它们所训练的不同的数据领域。
此外，自动驾驶汽车必须决定如何最终解决现实世界的不确定性，同时提供一种安全、舒适的自动驾驶汽车体验，而不是到处都是误报或者漏报。
至于自动驾驶汽车必须达到的安全水平，认识到两件事很重要。首先，人类是很好的司机，每16.5万英里才发生一起事故。第二，我们对人类和机器的期望有双重标准。我们期望人类会犯错，但当机器出故障时，我们发现这是难以接受的。
去年5月，丰田宣布将在密歇根州建立一个60英亩的巨型封闭测试场，测试其无人驾驶汽车的“边缘情况”驾驶场景。该项目将包括拥挤的城市环境以及一条四车道的高速公路，高速入口和出口坡道。
丰田给出的理由是这些汽车太危险，无法在公共道路上行驶。一个多月前，这家日本汽车巨头暂停了在美国公共道路上的自动驾驶测试，原因是亚利桑那州发生了一起涉及Uber自动驾驶车的致命车祸。
点击底部阅读原文报名参会>>
