各司其职相得益彰，Autopilot相机间的配合 ——Autopilot assist app系统破解后的识别结果展示（2）

在上一期我们谈到了Autopilot对于路面结构化区域的识别和区分能力，应该还是有遗漏。除了上次我们表述的紫色、红色和绿色线条所勾勒的道路环境之外，我们遗漏了一种橙色线条，如下：

上图中我们可以清楚地看到橙色线条在十字路口场景下向垂直和对向车道的扩展，橙色线条所勾勒的区间基本上是小于紫色线条（计算机所能识别到的道路实体边界），但是在远距离上，它往往又超越紫色边界，联合构成一个车辆视觉传感器在当下时刻，所能识别的道路区域的最大外轮廓。如果不好理解，我们再看下面这幅视图，注意它是由Narrow Camera摄像头所捕捉的，即前向长焦摄像头的视觉信号输入：

上图中可以看到，在长焦摄像头（Narrow Camera）的视场中，Autopilot系统仅提供识别橙色轮廓（本车可识别的极限道路边界，但未见的是合理的可行驶区域）和红色轮廓（建议本车可行驶的边界）。小编推测，可能是因为长焦镜头为了追求远距离的信息获取，客观上造成视场狭窄，不利于做出绿色和紫色轮廓的识别和判断（获取外界信息较少）。但是车辆径向（前向）的摄像头是一组三个，所以各司其职，分别在自己的信息获取领域最佳的区域做针对性的识别和分类工作，最后再做同质数据融合，应该是个更好的选择。从某种程度讲，这属于一种同质传感器数据的融合方式，本质上和异构传感器之间的数据融合是一样的。有趣的是，异构传感器的融合算法（甚至融合之后的效果）都因为必然是各家公司的核心机密而难得一见，但是这个Hacked Camera的显示效果却意外让我们看到Autopilot的摄像头分工和协作方式及效果，虽然没有更多细节，也是对于Tesla autopilot系统的感知子系统有了更多认知。

因此，到目前我们看到的视觉识别结果所对应四种颜色（紫橙红绿）的边界轮廓，其所对应的实际行驶语义信息各不相同，所依赖的物理基础（摄像头）也不同，但最终协调一致的融合识别结果，可以提供给后续的“规划”模块更合理的输入。这是个基于颜色的基本定义，也是我们以后理解Autopilot自动驾驶行为可靠与否、合理与否的判断依据之一。

如果读者不熟悉车辆前向一组三个摄像头的相互关系，我们在这里给出结构关系图以及实际的视觉场景捕获（夜间场景），供大家参考：

上图中所显示的1/2/3个摄像头覆盖区域，就是大致描述Narrow，Main和Fisheye三个摄像头由于焦距不同和视场角度的不同而造成的不同性能边界，当然这是个理论值。如果放在实际道路场景下观察这三个摄像头的信息获取能力的差异，则可以参考如下三个图形文件，按照从远距离-窄视角到近距离-大视角的顺序显示：

【Narrow Camera对应远距离和窄视角】

长焦镜头下，视场集中因此可以在车辆前进的径向方向获取更远的细节光学信息，而且车辆的前进方向往往也是最关键信息获取来源之一。上图中我们可以看到，autopilot可以在这个方向上较为准确地获取红绿灯的位置、距离和光学语义信息。例如，从左到右数，左边第一个可以识别出这是左转专用灯，并作出了红色左向箭头的标记。我们可以推测，如果在灯型上和正向红绿灯灯型没有明显的差异，那么这个识别/分类的依据可能还要依赖当下的十字路口的道路结构来综合判断（记住，这不是高精地图，目前没有证据表明Google map向Tesla开放了高精地图能力，但是Google map普通的导航地图结构一样携带有足够的信息，至少对于Tesla的Autopilot来说，足够了）。更多的可能性是，左转灯的灯型上（比如箭头灯和圆形灯）还是有差异的，如果被Autopilot的任何一辆车辆驶过并捕捉、记录和识别过，那么自然会存入Tesla位于云端的自主道路结构数据库内（注意，这也不是传统我们定义的高精地图）以备其他车辆调用。

再例如，出现在上图中的四个红绿灯，Autopilot都给出了估算的距离信息（54-61m，单位可能是m也可能是英尺，这个不重要）。Tesla前向摄像头测距的原理小编不敢肯定，但是一个合理的推测是，Tesla先验信息中包含标准交通灯的物理尺寸（长和宽），因此只要知道长焦镜头的焦平面上红绿灯的实像占据的像素个数，以及已知的焦距，那么就可以计算出红绿灯距离镜头表面的实际距离。更合理的推测是，在Main camera也可以捕捉到足够清晰的红绿灯实体实像时，因为两者的焦距不同，所以类似的计算可以再来一次，从而互相校准，得出一个最终的距离结果。至少上图中的结果还是合理的（最外侧的红绿灯距离最远，61）。其实对于Autopilot而言，小编估计对于红绿灯距离识别，米级别的误差都是可以接受的，应该不会影响Autopilot系统中感知模块之后的任何一个模块正常工作。

【Main Camera对应中等距离和适中视角】

中焦镜头下，我们可以看到最齐全的识别结果，包括紫色的道路路缘石边界、红色的建议行驶道路区域边界、绿色的规划行驶道路区域边界、和橙色的本车可识别的最大道路边界、白色的可识别车道线……之外，还能看到对于地面车道标识（左转、直行和右转等），还有最为关键的停车线的识别、动目标（车辆）的识别等我们会在后续介绍。

【Fisheye Camera对应近距离但宽广的视角，可能有120度】

可能有部分读者关注过其它的一些主流的纯视觉感知方案，比如百度Apollo系统的Apollo Lite，这个系统其实使用到了10个摄像头，比Autopilot多出的两个摄像头即左右两侧车辆肩部的侧前向摄像头，而Autopilot则完全由Fisheye和side camera覆盖，中间已经有足够的视场覆盖交集了。

上图可以看到Baidu Apollo Lite纯视觉方案中，摄像头的布局为10个，其中侧向摄像头比Tesla多出两个，如箭头所示。

另，如果仔细观察还能发现一种轮廓线的存在，下图中，读者可以沿着黄色箭头所指的线条连为一个整体来看，这是一个黄色的轮廓线，出现在当视野中有大量动静目标出现时，在完成对动静目标的识别之后，将其轮廓框和地面的交集连在一起，语义上相当于给主车指示出你的危险驾驶边界线，越线既有碰撞的风险。当然，如果路面不存在动静实体目标的障碍物，黄色危险驾驶边界线也就不存在。如下图：