感知是自动驾驶的第一步，也是最关键的数据采集端，但什么样的感知组合是最符合量产要求，并且具备高性价比的成本优势，答案一直是未知数。
尽管仍然存在一些问题，比如成本、体积（车身的集成度）、特殊环境约束等，但大多数行业人士认为，激光雷达是自动驾驶车辆安全感知路上行人、汽车和其他危险的唯一可行方法。
不过，去年，特斯拉CEO马斯克抛出的“激光雷达无用论”还是激起了一些波澜。彼时，来自美国一所大学的研究人员很快通过双目摄像头探测到了接近激光雷达的精确度，并且成本仅仅只需要激光雷达的十几分之一。
众所周知，激光雷达能够在三维空间中可视化和探测车辆周围的物体，这对于自动驾驶汽车的安全运行至关重要。作为一名司机，每当你转过头去扫描你的车周围时，你的大脑就会立即以3D的方式来想象周围的环境，并评估潜在的危险。
和传统双目模式不同，研究人员对来自立体摄像机的图像生成一个3D点云，然后在3D中旋转，以产生一个自上而下的视角来观察车辆周围的环境。这允许提高精度，使他们的方法与激光雷达解决方案非常相近。
激光雷达传感器使用激光创建周围环境的三维点地图，通过光速测量物体的距离。立体摄像机，依靠两种视角来建立深度，就像人眼一样。
对于大多数自动驾驶汽车来说，摄像头或传感器捕捉到的数据是使用卷积神经网络进行分析的——卷积神经网络是一种机器学习，通过应用过滤器识别与图像相关的模式来识别图像。这些卷积神经网络已经被证明非常擅长识别标准彩色照片中的物体。
但往往他们是从物体正面探测，会产生扭曲的3D信息（传统双目也存在类似问题）。因此，研究团队把正面视角的图像转换成鸟瞰的点云图像时，准确率提高了两倍多。
一、传统可见光双目还在升级
当然，传统双目已经存在多年，并且在包括斯巴鲁等车型上也已经规模化量产。不过，由于价格相对较高、全球可提供方案供应商不多等原因，双目在过去并没有成为主流。
早在2014年，斯巴鲁就推出了EyeSight驾驶辅助系统，提供包括自适应巡航控制，紧急刹车和车道偏离警告等ADAS功能。这套基于双目视觉的系统，在低于每小时19英里的速度下，能够探测到车辆行驶道路上的障碍物和行人。
在19英里/小时以上的相对速度下，当检测到一个物体时，系统可以实施紧急刹车，并且可以识别诸如车辆、骑摩托车者、骑自行车者和行人等常见道路对象。
通过几代系统的迭代升级，根据去年美国公路安全协会(IIHS)的数据，斯巴鲁的EyeSight驾驶辅助系统可以将追尾事故的可能性降低至多85%，甚至比很多单目+毫米波雷达系统的数据还要高出不少。
然而，这套系统仍存在较多的失效条件和场景。
就在今年初，日本日立汽车系统公司宣布，该公司正在开发一种新型立体摄像机，能够在没有毫米波雷达的情况下，通过将远距离目标探测与广角视角相结合，仅依靠立体摄像机在十字路口实现自动紧急制动(AEB)。
基于这款新开发的立体相机，日立公司通过扩大立体相机相对于传统立体相机的水平视场角来增加检测范围。该公司已经采用了一种方法来移动左右摄像头检测到的图像，从而实现比传统立体摄像头宽三倍的FOV。
同时，这套系统还支持车辆通过十字路口时，仍然保持ACC和AEB兼容且正常运行。此次摄像头可以对行人和骑自行车的人提供高度准确的探测和距离估计。
二、红外补充双目缺陷
除了可见光立体摄像头，与其他传感器相比，热成像摄像机识别并量化了一种完全不同的能量波长，这种波长被称为长波红外辐射，或热能。
热成像相机在完全黑暗、白天或眩目的阳光下也能探测到热量。在烟雾或雾等恶劣天气中，它们的工作效果也比可见光好得多，尤其擅长探测人体的热量，尤其是分辨出在黑暗的乡村道路上或存在较多炫光的城市道路上的行人。
一些企业已经基于热成像摄像作为一个立体视觉系统的一部分，除了创建三维周围环境，确定车辆附近物体的形状和距离外，还可以测量每个物体的热辐射，使系统能够描述和确认一个被识别的物体是否是生物。
热成像立体视觉的工作原理与人类视觉相似，它基于光线的三角测量。在这种情况下，来自两个或更多视点的热射线通过计算给定场景中不同物体的距离来提供深度感知。
这是通过识别热立体视觉对之间的对应像素，并通过图像处理算法对距离测量值进行三角化来实现的。热立体视觉允许在任何天气和照明条件下的三维感知，从理论上讲，在任何光照条件下，一旦探测到道路上的物体，热成像立体摄像头还能够提供冗余的距离数据（相比可见光，可以看得更远）。
在这方面，进展较快的是一家名为Foresight的公司，已经开发出依靠热成像和可见光立体摄像头来增强视觉感知能力。
Foresight此前推出了一款四摄像头QuadSight®视觉系统，基于双可见光+热成像立体摄像头，在评估了过去一年的几款原型的用户测试反馈后，该公司再次开发了新的功能来满足客户需求。
这些能力将显著提高QuadSight系统在精确测量障碍物大小、位置和距离方面的性能，甚至在恶劣的照明和天气条件下。新功能包括自动校准、三维点云和多光谱传感器融合。
三、“三大利器”增效
使用立体视觉技术的主要挑战是在动态环境中创建精确的三维深度地图的能力，通过同步和校准立体摄像头来实现。为了获得对车辆周围环境的精确测量，有必要估算每一帧中一个摄像头相对于另一个摄像头的角度，这种计算称为相对姿态估计。
为此，Foresight开发了一种称为自动校准的专有解决方案，它使用独特的算法来成功地评估相对姿态估计。自动校准是创建一个准确的立体三维感知的基础，同时确保系统的鲁棒性。
其次，是点云。这是一组类似激光雷达产生的数据点，这些点生成精确的像素位置和距离，用于完成三维映射。双目视觉和激光雷达很类似，可以输出三维点云。且点云更加致密，通过对点云的聚类分割，可以对一切类型障碍物包括小障碍物以及地面三维地形进行有效检测。
不过，由于采用了热成像技术，QuadSight还能产生红外点云。通过点云生成一个高分辨率的深度地图，并将其转换为一个高分辨率的3D点云，这提供了车辆周围环境的准确信息，包括视野中任何物体的位置和距离。接下来，Foresight公司还打算进一步开发其独特的点云解决方案，融合可见光和长波红外的数据。
最后是多光谱传感器融合，这款独特的四视系统结合了两个感知组合，分别由立体可见光摄像机和立体长波红外热像仪组成，在恶劣的光照和天气条件下提供准确的障碍物检测。
同时，该系统在两个立体通道之间进行融合，以生成准确的深度图，同时减少误报。此外，系统可以根据相关场景实时决定选择哪个通道。
此前，在不同的预定义场景中已经有多家OEM及Tier1测试了QuadSight的原型系统。到目前为止，该系统已经成功地实现了100%的障碍检测在所有的模拟场景，包括雾、雨和极端的照明条件。
整体测试性能数据包括，150米的探测范围，可以在100米的距离内探测到小至35*25厘米的物体，以及45帧/秒的速度，应对高速行驶场景。
目前，Foresight的QuadSight系统仍在开发中（暂时只是原型样机），比如摄像头要足够小，且可以与车身集成。同时，Foresight在今年初还宣布与一家中国一级供应商签署了技术合作协议，为两家中国汽车制造商开发智能驾驶感知解决方案。
四、双目+毫米波推进量产
而斯巴鲁正是Foresight方案未来市场前景的真实写照。按照此前计划，斯巴鲁在2020年将推出L2级（类似于凯迪拉克超级巡航、日产ProPilot Assist和特斯拉Autopilot），到2024年将达到更高的水平。
这套新的L2系统，提供更宽视角的立体摄像机和更宽的基线。与雷达相结合，它在车辆周围形成360度感知，扩大了碰撞前制动的工作范围，以覆盖低能见度转弯和十字路口。
此外，一起搭载的还有高清地图和车辆精确定位功能“与高清地图数据相结合，汽车可以识别前方道路的形状，在进入弯道前降低速度，并在交通拥堵时提供自动驾驶。”
类似的还有在戴姆勒L3级别的量产方案中，就选择博世的第三代多功能/立体摄像头，像素从120万提升到了200万，视场角从±25°提升到±50°，并且加入了纹理识别，密集光流法，卷积神经网络等技术。
而在国内双目落地应用上，为了达到全天候工作，精准测距的目的，中科慧眼提供了纯双目视觉的方案，以及双目+毫米波雷达的方案，在商用车上有不同的应用，包括后装和前装市场。
目前，中科慧眼的产品支持二次开发，并且有不同焦距、视场角的摄像头，适配不同的应用场景，焦距越长视场角越窄，客户可根据不同的需求进行选择。
《高工智能汽车》认为，视觉感知的革新已经到了一个新的临界点。如果说上一次的革新是所谓的深度学习等软件算法推动，那么接下来的革新或许就是硬件驱动。
