本周一，一个业内比较知名的Tesla Hacker在他的twitter账户上（@greentheonly）发布了对于Tesla Autopilot自动驾驶系统的破解结果展示，带出来很多以前未见过的信息，值得一看。话说这哥们儿跟踪Tesla不是一天两天了，从历史信息看，他拥有完整的Tesla硬件和软件环境，并和很多北美的私人汽车改造商有业务关联，所以这种深入骨髓的破解成果对于外界了解神秘的Tesla和其Autopilot系统有很多帮助。之前本公众号有过一篇文章《Autopilot三十秒》的视频资料来源不详细，很有可能也是从这个渠道来的。但他的破解工作往往只是展示破解效果，从来没有过多的技术评论和标注，因此我们在这里给出一点点自己的见解，给大家分享，共同进步。
这次的破解对象是Autopilot在进入FSD阶段下的一个叫做“autopilot assist app”应用，在正式小范围推送的FSD Beta测试版本中，受邀的测试爱好者和Tesla车辆用户是无法激活这个应用的，进入应用后的UI如下：
上图显示，在车主车库中的Tesla（应该是一辆Model 3）车辆未启动状态下的Autopilotassist app状态。有几个主要的技术细节如下：
1 在左侧画面中，车辆处于静止状态下，视觉或者超声波传感器将对于障碍物（红色箭头所指）的识别结果以红色原点的形式呈现出来，不整齐（也许车库内有堆放其他杂物），但大致可以判断这是车库内壁；
2 在右侧画面中，我们可以看到Autopilot将视觉识别结果呈现在驾驶舱的主屏幕上，目测应该是车库的前面墙壁。因为墙壁上有板条之间的缝隙，所以Autopilot做出了自己的判读：
2.1 一条前向延展并向右略微弯曲的驾驶策略规划结果（绿色车道轮廓）；
2.2 一条水平紫色的车道边界判断结果，是因为对于板条缝隙的误读。如果结合2.1的规划结果看，这是一个逻辑上的矛盾；
2.3 左侧红色箭头所指，Autopilot对于当前驾驶环境场景的推断是INDOORS室内环境可能性为31%；（但这个识别结果应该没达到门槛值，所以依然为白色而非绿色）；
2.4 左侧下方显示这是前向摄像头组（一组三个镜头）中的Main Camera摄像头所提供的视觉传感器信息；
2.4 左侧上方为Tesla车辆此刻的基本信息，包含时速0MPH（静止），时间（应该是个累加秒值），以及车辆的姿态信息，包括P/Y/R三轴数据（应该是车辆IMU传感器输出信息）；
当车辆被实际驶入道路时，我们可以感受一下以下这个画风，作者本人将其称作“the muchcoveted augmented reality view！”意思是，“这正是我窥觑已久的自动驾驶系统的增强现实场景啊！”
上图显示车辆停靠在一条社区道路（道路中间没有双向车道分界线）上时，Main Camera的输出信息叠加Autopilot的识别结果，车辆此时处于手动驾驶（踩刹车）的状态下。需要特别关注的是，针对道路或者可行驶区域的识别结果用不同颜色的线条勾勒出来，颜色定义的具体推测如下：
1 紫色线条，是对于道路的物理边界的识别，这个识别结果和其他视觉识别结果一样来自卷积网络对于画面内“突变”部分的提取和分析，主要针对道路的路缘石，或者道路路面材质和路边草坪或者其它异构材质的突变而学习到的；
2 红色线条，应该是Autopilot系统对于当前条件道路物理边界内所定义的“可行驶区域”的分割。考虑到社区道路基本没有双向的道路分界线，因此autopilot系统会建议靠右行驶，等同于规划出来的“双向道路分界线”；
3 绿色线条，这个应该是Autopilot系统根据各种传感器识别结果，和预测（对于其他动静目标）结果，综合判断后给出的“轨迹规划”（有时间限定的有效期）；
4 蓝色方块，推测应该是毫米波雷达的有效反射信号。目测符合雷达信号的回波规律，比较杂乱，需要和视觉输入信号做联合判读。可以看到距离车辆越近的地区反射回波的蓝色方块较少，且为黑色中心；而距离车辆较远的地区反射回波的蓝色方块较多，为蓝色中心。小编的理解是在视觉信号输入充分的近景，可能有一些雷达回波经过数据融合之后被过滤掉了。
注意观察上图的右侧底部数据现实，这个视角的Camera信息来自于车辆左侧的Repeater摄像头。从这个角度看出去，可以准确识别路边的泊车（黄色箭头所示），共两辆，且有车辆的类别分类数字结果显示。同时，即便是车身侧的Camera，也可以在光线足够的条件下识别出道路的基本结构，并在图中用紫色线条勾勒出来。这是个非常非常重要的视觉能力，只要FSD3.0的硬件速度处理得足够快，Tesla的autopilot系统是有保障在驾驶过程中绘制车身周边完整的道路结构信息的。
上图中增加的白色线条不清楚是根据什么依据绘制的，白色线条理论上是车道线（白色）的识别结果，而上图中的社区道路不应该有车道线。
最重要的信息是来自底部的那一排白色字体，contextual_low_speed –stops_bev，显示车辆处于静止或者低速状态下的BEV俯视图构建能力，使用了HYDRANET_MAIN，HYDRANET_NARROW，HYDRANET_FISHEYE，HYDRANET_LEFT PILLAR，HYDRANET_BACKUP，HYDRANET_REPEATER，即车身周边所有的八个camera传感器。这是本次FSD Beta对于autopilot系统重写的一个重要特征，标志着Autopilot系统可以根据不同的任务，同时调用不同的摄像头传感器信息（最多八个），完成更准确的视觉识别任务。这个在本公众号之前的技术讨论中已经涉及多次了，HYDRANET和对应的摄像头的处理关系，如果有兴趣，读者可以翻翻之前的老文章。
在以上两幅连续的接近路口过程中，Autopilot在较远的距离识别出了Stop停车标识，并且在社区道路行驶过程中，将可行驶区域从之前静止状态下的一半，扩展为整个道路（红色线条和紫色线条、绿色线条融合），因为视觉传感器显示附近没有其他对向行驶的车辆。在最终接近路口时，可以识别出地面的白色停车线，并对地面的“STOP”标记完成识别，标记为“SF”。另外需要注意的是，在右侧底部，可以看到白色“路径规划结果”，并伴随有黑色横线，小编推测这是指目前车辆的路径规划在当前速度下，长度为18m。这个数值，应该是随着车速的提高而增加的。
综上，小编认为，对于道路结构的识别（紫色线条），车道线的识别（白色线条）和停车线（白色线条）和交通标识（包含交通灯）的识别，Tesla已经证明了视觉识别可以达到如何的高度，这是毫无疑问的。这也是FSD Beta推出到现在，各种实际道路测试下的完美“类人”表现的前提条件。从Autopilot的这个界面来看，感知——识别——预测——规划——控制的这个链条上，至少在感知和识别的这个基础上，Tesla表现出可以放在纸面上、摆在公众面前的优秀。在没有使用技术更充分和彻底的“激光雷达和HDmap”的前提下，这已经是很棒的表现了。当然迈向更高等级的自动驾驶Level4 or5，还需要更多的corner cases的遍历和征服，从这点上看，Tesla已经突破实验室范畴而在实际商业环境中不断前进了。“有足够自信，但仍需不断证明自己。”这就是Tesla目前的技术地位。
后续还有一部分资料，我们会继续我们的分析，敬请各位关注。
车右智能
一个一直用心仿真的自动驾驶技术信徒
info@co-driver.ai
备注：
1 题图来自互联网搜索；
2 文中插图1/2/3/4/5为@greentheonly的推特相关消息截图；
相关链接：
