最近一段时间，关于Tesla传感器更新的小道消息比较多。比如类似Lidar激光雷达产品上车测试的现场照片被路人拍摄到，还有不知名的平板状传感器头一次在街头露面……在互联网上相关现场内容得到了普遍的关注，但Tesla官方并没有任何确认信息，所以小编还是把他们归于“小道消息”一类，可以和大家分享看看、聊聊，但不要太认真。
首先是在2020年的最后一周，有目击者在加州旧金山的Los Altos发现的一辆搭载有类似Lidar传感器的Model X，如下图：
同样是度身定的做车顶部运动支架，在硅谷的其它地区也在不同的时间段发现过，而且搭载车型也不仅仅是Model X，在最近的Model 3和Y上也都有路人目睹并拍摄。如果抵近观察，车顶支架和传感器的细节如下：
上图中显示黄色箭头显示，视线内我们至少可以看到两个方向被安装了类似Lidar的传感器（应该是四个方向都有），安装位置为车顶部的专用支架而非车体直接安装，这意味着类似Lidar的传感器或者是处于早期的性能摸底测试阶段尚未进入车体的整合考虑阶段，或者是新的传感器仅仅是作为“参考性质”的传感器，作为其它标配传感器，比如Camera和mm Radar的校准功能使用（后续展开介绍）。
如果再进一步观察和推测，互联网上有专业人士指出，图示的类似Lidar的传感器，至少其中一款可以基本确定是Luminar的Hydra Lidar设备，如下图：
其基本指标为：
1 最大覆盖距离500m，其中250m覆盖半径满足至少10%的反射率；
2 120度覆盖场，垂直方向30度；
3 相机级别成像能力，分辨率200pt、sqdeg；
4 高测距精度小于1cm，等等。
众所周知，Tesla和Elon Musk本人都是坚决的抵制激光雷达技术的典型，不管激光雷达技术工业化进展多么顺利，都不会干扰到Tesla的纯视觉派技术路线。因为这不仅仅是个传感器的配置问题，更深层次会影响到传感器背后的DNN模型问题，包括DNN的网络种类、数量和训练方法等一系列问题。所以小编看到类似新闻的第一感觉还是认为Tesla对于激光雷达类传感器的所谓“安装和使用”还是应该仅限于对于Tesla现有传感器的训练数据获取的范畴。
为此，小编在专利网站上特意核查了Tesla的关于异构传感器组合的相关专利列表，确实是有这么一篇《Estimating object propertiesusing visual image data》，虽然标题和异构传感器没什么关系，但实际上内容却大量涉及“AdditionalSensors”（附加传感器）的系统架构：
以上流程大致描述了一个专利的Autopilot训练数据筛选、比对和获取流程，如下：
1 在201步骤中，测试车辆/车队获取视觉数据，视觉数据可以是静止的图像数据，也可以是动态的固定时间段的视频流数据。具体的数据获取过程就不描述了，但在视觉数据获取过程中需要关注的是，带有时间尺度的连续视觉数据内容，可以最大程度抑制内容歧义的产生。例如在复杂交通路况下的遮挡情况，不预留足够的视觉信息获取时间跨度，可能就会导致漏检；
2 在203步骤中，测试车辆/车队通过附加传感器获取和视觉数据直接相关的异构数据，例如Lidar和mm radar是经常被用到的，引起在测量距离、速度方面的特殊优势，可以经过后端的轻量级处理，即可以获取接近“真值/Ground truth”结果，因此其校准属性突出。这里有个小小的思路发散，在Tesla的思路当中，Navigation Map数据也算是一种异构传感器数据输入；
3 在205步骤当中，经过201视觉传感器所获取的视觉数据将被输入后台DNN网络中进行常规的识别、或者分类处理，DNN的网络处于常规的状态，识别或者分类的结果将被记录；
4 在207步骤当中，经205步骤的输出值（物体识别、距离识别、物体属性分类等等一系列结果）将会被拿来与203步骤的真值进行对比，或者说用真值来修正205步骤的输出；
5 在最后一步209步骤当中，将207的修正结果，尤其是经过真值验证过的那些数值组合，将会被录入DNN模型的参数修正和更新过程中去，从而形成对于DNN网络的不断修正，最终形成自我更新的闭环。
类似的方法在很多自动驾驶系统开发商中都有涉及，近期官方曝光的Apollo Lite系统的性能测试报告和Lite纯视觉系统工作方法的介绍文章中，显示百度的Apollo也有类似的处理流程。实际上这应该是一个普遍被使用的视觉训练集建立手段，Apollot Lite系统在这个实现方法的专利申请上不知道是怎么处理的，但是大致的设计思路和Tesla这个是一致的。（多说一句，看了这么多专利，特别是Tesla的专利，小编感觉现在的专利体系和申请文件都太霸道了，在方法上覆盖的范围太广泛，所以实际的专利保护力量主要应该还是在防御，而非进攻上）
我们都关注模型本身的规模、参数集合和模型效果的同时，其实在模型的训练阶段和完善阶段，足够量和质量的训练数据获取同样是非常重要的，可以说是DNN的生命线。如果能处理得好，自动化水平高，将会为推动自动驾驶的核心DNN尽早进入更高等级的Level阶段，发挥重要作用。我们之前在很多公众号文章中都涉及过Autopilot所独有的“Shadow Mode”影子模式，其本质就是通过高度自动化获取人类司机对于场景的识别、预测和规划结果，反哺AutopilotDNN的成熟，其设计思路如出一辙，只是自动化手段的着落点不一致而已。
上图中给出了专利中所定义的Tesla在Additional传感器上可能做出的选择：在主车501上，503和553的位置都可以安装所需要的附加传感器，这些传感器的主要功能是在主车正前方的扇形测量范围内和身侧的扇形测量范围内提供他车的距离、速度和其它属性的真值/Ground Truth。
经过完善的主车传感器捕获数据（视觉传感器）和附加传感器捕获的真值数据打包并送入后台神经网络进行不断地训练之后，主车DNN网络（负责识别模块）至少应该完成上图所需要的驾驶识别任务：
1 对于603，605，607和609的道路边界识别；
2 对于道路边界相对于主车的语义（方向、方位和主路、辅路）的识别；
3 对于道路移动固定参与目标611，613，615，617和619包括位置、速度的识别；
4 对于道路移动固定参与目标们和道路边界所对应关系的语义识别，比如：619参与目标在辅路上；
以上识别任务的达成，是构成一个自动驾驶系统的基础（中的基础），需要在DNN的训练中，循环往复使用到视觉传感器捕获数据和附加传感器捕获的真值数据之间的相互验证而最终完成。
不过啰啰嗦嗦讲这么些，小编突然想到还有一个不能排除的可能，虽然现场照片显示这些传感器是搭载在Tesla的Model X顶部，但并不一定确定代表这是Tesla的测试车辆啊！如果这是一个高精地图的制作或者维护的外包公司…….或者Lidar性能测量的外包公司……嗯，好像也说得过去。
除了以上对于Lidar附加传感器的小道消息之外，两周前在推上还看到一张现场图，发图者是一个位于硅谷的电动车爱好者团体Everything-Electric（@Everyelectron）。算是一张关于Tesla的某种传感器升级的谍照吧，如下所示：
【这是侧后方的远距离图像，可以看到红色Tesla Model3的车顶碰上装有测试设备】
【这是侧后方的一张近距离图像，实际也是拉长焦拍摄的，所以分辨率不足以分辨设备细节】
拍摄者@Everyelectron在Twitter中提到，这张照片是在距离Tesla在硅谷的总部不到五公里的开放公路上拍摄到的，车辆是由三名工程师驾驶的，因此可以确定这是Tesla主导的传感器测试行为。当对方意识到有人跟踪拍摄之后，就想办法离开了，所以也就没有更多的图像资料了。That’s ALL。
作为一家月销量可以达到十万级的电动车制造商，也作为一家市值快速上升至全球车企第一名的划时代企业，同时还拥有全世界科技领域知名度最高、争议度也最高（没有之一）的CEO ElonMusk的企业，Tesla如果对于车载传感器组合的任何变更和新设计思路，都是行业大新闻而受到外界的强烈关注。因为这不仅仅意味着电动车主机厂传感器硬件设备选择问题，还意味着Tesla背后完整的Autopilot自动驾驶系统的技术路线选择问题，更意味着Elon Musk那个著名的“选择Lidar的都是傻瓜”论调是否持续有效的问题…….所以小编把这个拍摄结果贴在这里给大家参考。
从上图中看到，Model3顶部安装的传感器，应该是由一对儿光学设备和一个等高度安装的面板型设备组成的。面板型设备只显示了板子的数字部分，无法断定具体功能类别。但考虑到现有的Lidar产品形态中，没有类似的面板结构（特别是这种薄面板结构），所以小编大概率怀疑图中的面板结构设备是雷达的一种。如果这个推论合理，那么这块竖起来的数字板前面（朝向车头）应该是有另外一块RF/射频电路板，外加天线结构。顺着这个假设推理，这块“面板雷达”的右侧方向安装应该是视觉传感器——摄像头。从其背后的连接线数量看应该是一对儿摄像头，而且这个并列布局大概率是要用到视觉的立体技术。
这种传感器的等高布局在车辆的最终实现上不多见，因为安装条件和视野需求的各种限制问题，不同属性的传感器基本上看不到安装在同一个位置甚至同一高度的。所以，这个测试环境下的等高布局，应该也是测试设备场景下常用的“待测系统+校验系统”的组合布局，我们在上述Tesla的专利文件中已经看到这种方法的应用。差别在于，这里所展现的待测和校验关系，似乎并不是为了提供给给后台DNN的监督数据组合，而单纯就是传感器硬件设备的测试和校验。也就是说，Tesla应该是主要测试那个长方形的面板雷达，右侧的立体摄像头应该是个校验设备（不是待测设备），Tesla本身在视觉技术上也是很高的应用水准了，用自己最拿手的立体视觉技术来校验雷达实际的测量结果，应该是一个比较合理的测试选择。
当前Autopilot系统中的毫米波雷达型号是大陆的ARS410（工作频率77GHz），从尺寸上说，当前的毫米波雷达大概是100*70mm（雷达天线朝向平面的尺寸），可能也就是比成年人的手掌面积稍微大一点点，体积上属于足够小型化。因此可以被安装在汽车前脸处，如果是传统动力车，需要安装在水箱散热机构的旁边。而上图曝光的这个所谓的“平面雷达”尺寸推算（参照物为一般大小的Camera尺寸），应该至少在120*200mm往上（迎风面积，也应该是雷达的天线朝向）。这个尺寸比当前装备的主流毫米波雷达大了不止3倍……
所以一个更合理的推测是，如果面板传感器是属于雷达的一种，小编推测它更可能是最近一两年大热的所谓4D毫米波雷达。联想到之前有人发现Tesla的Autopilot代码中（hack手段）曾经出现过对以色列一家雷达技术的初创公司Arbe Robotics某种4D雷达技术的引用，因此物理上需要更大尺寸以容纳更多细分天线的4D毫米波雷达的可能性反而更高了。如下图：
在Arbe的公司站点上，对于4D毫米波雷达（包含phoenix芯片组）的基础描述如下：
1 Phoenix是Arbe的雷达芯片组解决方案，它通过识别，评估和响应具有挑战性的场景（从普通场景到异常场景）并通过4D超高分辨率实时成像来满足现实中的驾驶需求。无论速度，高度，接近程度，大小或周围的天气和光照条件如何，Phoenix都会将真实威胁与错误警报区分开来，以确保驾驶员，行人和其他弱势道路使用者的安全道路；
2 Arbe专有的基带处理芯片将雷达处理单元（RPU）架构与嵌入式雷达信号处理算法集成在一起，可以实时转换大量原始数据，同时保持较低的硅功耗。Arbe正在申请专利的处理芯片可实时管理多达48个Rx通道和48个Tx通道，可每秒生成30帧完整的4D图像，等效处理吞吐量为3 Tb / sec，最大作用距离为300米。
无独有偶，国内有一家在这个领域比较强的初创公司傲酷雷达，同样可以提供高反射密度的4D雷达，在一些产品技术新闻中，我们可以看到“傲酷在虚拟出来的上百根雷达阵子的基础上，现在可以做到单个雷达2-3万个反射点；一圈4个雷达下来算下来可以到10万点云，达到8线激光雷达的点云成像水平。短期内的目标是一个雷达5万个点，一圈下来20万个点。基本上能达到类似16线激光雷达的成像水平。”可以看到4D雷达的技术对标甚至可以达到低线数的激光雷达。
在Arbe的实测宣传片中，号称2K分辨率的成像雷达（不知道这个2K的计算方法），其所显示的对于移动目标的检测结果确实大大超出传统的毫米波雷达，对于行人、单车、和机动车辆的测量准确，且与背景回波容易区分。其中在正面对向行走的行人目标上，可以区分出行人的腿部动作。
我们当然不能确定Tesla的实车测试当中采用了哪一种4D成像雷达，但是我们可以肯定，如果Tesla的Autopilot继续摒弃越来越接近达到车轨级别的激光雷达技术和产品，那么其就应该不遗余力地支持新的毫米波雷达4D技术，从而可以在纯视觉的技术基础之上，找到一种对速度更加敏感、全天候能力更强、和视觉技术互补性更强的传感器技术。
我想这就是不断爆出来的各种Tesla传感器产品测试的小道消息的原因。
顺祝，各位新年快乐，自动驾驶技术和产业发展顺利。
车右智能
一个一直用心仿真的自动驾驶技术信徒
info@co-driver.ai
备注：
1 题图来自互联网搜索；
2 文中插图1为Teslarati.com的专栏报道消息截图， URL，https://www.teslarati.com/tesla-model-x-lidar-equipment-photos/；
3 文中插图2/3为tesmanian.com的专栏报道消息截图（原图来自推特某账号）， URL，https://www.tesmanian.com/blogs/tesmanian-blog/tesla-model-y-spotted-with-a-new-set-of-sensors；
4 文中插图4/5/6为专利查询网站freepatentsonline.com上关于Tesla专利的查询结果和截图，源文件URL https://www.freepatentsonline.com/20200265247.pdf；
5 文中插图7/8为推特账户@Everyelectron在Twitter上所发表的照片引用；
6 文中插图9来自于推特账户@Green the only所发表的信息截图；
7 文中插图10/11来自于Arbe公司的宣传测试视频截图，URL：https://www.youtube.com/watch?v=Yc4MfzbbtuI；
