从自动驾驶1.0到自动驾驶3.0的思考

AD 1.0

定义

特点

1. 每个相机图像单独过模型
2. 有很多小模型：障碍物模型，车道线模型，交通灯模型等
3. 融合、定位、规控模块都是人工编码

问题

1. 障碍物是白名单制度，无法识别标注对象之外的目标，比如倒地的大卡车，路上的石块等等
2. 障碍物表示为3D框，表示精度有限，比如运货大卡车凸出来的钢管等
3. 规划模块不具备完备性，不考虑车辆运动之间的互相影响
4. 融合、规控模块均为复杂的手工编码，迭代到最后非常容易出现顾此失彼的现象，难以维护
5. 整个Debug流程本质上是用人力做反向传播，消耗的人力资源很多，无法规模化

应用案例

1. TDA4等低算力平台
2. 2020年之前的特斯拉
3. 2022年之前的国内新势力

总结

AD 2.0

定义

特点

1. 感知只有一个BEV模型，完成多相机时序上的融合工作，输出3D障碍物、Occ、车道结构等信息。
2. 规划也用模型，输出自车的预测轨迹或者控制信号
3. 感知和规划模型必须要联合训练

问题

1. 解决了通用障碍物的问题。但依然无法处理部分没有障碍物，但是需要特别注意的场景，比如说路面上有积水、未凝结的水泥路面、有水渍的环氧地坪地面等。
2. 缺乏对现实世界的常识：比如塑料袋可以压过（物体材质），前方渣土车上的土块看起来要掉（地球有重力），前方路段是小学放学时间（社会规律），前面两个车撞到一起（突发事件）
3. 和人类的交互太弱，目前的人机共驾只是人和汽车方向盘、油门的协同。人类无法告诉车辆『前面第二个路口右转，注意要提前上辅路』这类信息。

应用案例

1. Tesla FSD V12 （2023年11月开始员工内部推送）
2. 英国的自动驾驶公司 Wayve

总结

AD 3.0

定义

特点

1. 由多模态大模型作为核心来控车
2. 可以和人类（车内的乘客和车外的管理人员）进行语言交互

问题

1. 怎么消除MLLM的幻觉问题？
2. 怎么在车上实时的运行MLLM？

应用案例

总结