2024年的自动驾驶技术路线，大佬们是这样说的！

英伟达奖学金获得者 BEVformer作者：李志琦

• 目前基于开环的端到端自动驾驶遇到了一些挑战，如何将基于真实数据的端到端模型从开环走向闭环是一个具有挑战同时也极具意义的任务。目前来看有两条路径可以走，一条是UniSim这种将真实数据进行三维重建，使用一个基于神经网络的模拟器进行闭环仿真。另一条路径是使用世界模型进行闭环验证。两条路径都处于起步阶段，个人更看好世界模型在2024年能够取得更大的进展，期待世界模型能够更好的解决多视角，时序上的一致性生成问题。基于世界模型进行条件生成相比于UniSim这种范式能够更好的利用大量未标注数据，具有更好的数据利用效率，更适合自动驾驶这种数据驱动型任务。

上海AI LAB研究员：张铂

• 1、从通用性的提升，分为两个角度：
• a) 模型架构、权值的通用性提升，
• b) 对corner-cases、不同场景的泛化能力的提升。
• 针对第一个方面，实现模型backbone的统一是迫切的。从自动驾驶点云感知角度来说，目前仍然没有一个统一的、可以泛化到不同下游数据集的预训练微调范式。这个原因可能是由于: a）相比于2D场景下的模型结构(像ResNet，ResNeXt这类)，3D点云场景没有一种统一的backbone模型结构来从模型结构层统一不同基础视觉任务，比如分割检测和跟踪，这种不统一性其实不利于形成统一的上游预训练到下游的微调技术栈。因此，从研究统一的backbone预训练权值到不同下游任务，如检测、跟踪、甚至planning，也许是一个有意思的点。
• 针对第二个方面，由于3D点云本身的特殊性，如不同传感器获得的点云分布其实差别很大，导致联合多3D数据集，跨不同传感器进行信息感知的能力很弱，更别说完全在open-domain和unseen corner cases情况下能work了。其实针对新的3D domain数据和新的3D任务，仍然大都采用重新获取数据-人工/半自动化的标注的方式来进行产品迭代，也许3D模型通用性的提升可以降低这部分代价。
• 2、 知识驱动的自动驾驶
• 2023年是多模态大模型、语言大模型蓬勃发展的一年。借助于多模态大模型，例如GPT4V的能力，已经有一些工作来尝试探索通用人类多模态知识向专用驾驶场景的知识迁移。类似于人类可以经过快速的学习就可以学会驾驶任务，未来自动驾驶需要多模态、结构化的知识性质的数据，这种知识性质的数据具有更强的领域泛化能力、更可靠的终身学习机制。
• 针对这一点，还有一些比较有意思的一些工作在探索，如何将人类先验知识集成到自动驾驶系统中。这里主要的难点在于人类知识和基于神经网络的驾驶系统之间的不兼容性，以及目前LLM(作为人类知识的一种网络权值表示)缺乏对于symbolic data的理解能力。将人类语言文本描述作为一个统一接口，然后调用不同自动驾驶模块化的工具包来进行语言级别的统一化的输入输出反馈是一个近期工作提出的解决思路。其实，类似这类工作的思路，围绕将LLM中丰富的semantic knowledge(semantic-level reasoning)迁移到自动驾驶场景，可以利用人类文本语言描述，可以探索一些新的semantic knowledge表征形式。

CVPR 2023 QCNeXT作者：周梓康

• 2024年，大模型将持续重塑自动驾驶领域的学术研究，而工业界的技术方案也将发生重大变革。在感知领域，BEV、Occupancy Network等技术方案已成为行业共识，而感知模块接下来有变得更加端到端以及与预测模块深度融合的趋势；在决策规划领域，尽管经典的基于人工经验的技术方案仍然是主流，但数据驱动方法将持续地向该领域渗透，技术方案的最终形态仍是未知数。期待2024年自动驾驶赛道会变得更好！潘登：
• 1）法规方面，是不是就会允许自动驾驶了？
• 2)技术方面，端到端的自动驾驶国内是不是有公司能够落地。觉得国内厂家比较难，没有GPU

上海AI Lab研究员：路飞

• 对于标定来说，2024年最期待的地方是和传感器无关的高精度在线标定和在线自检算法研究。
• 为了保证自动驾驶汽车系统的准确性和健壮性，需要对安装在车辆上的传感器进行标定，同时由于环境变化、震动等原因，会导致传感器位置与原位置产生偏离，这对自动驾驶系统的安全性有着很大的影响。为了解决这个问题，需要对自动驾驶中的车端传感器和路端传感器进行在线自动检测和校准，需要每隔一定的时间对传感器进行标定参数自动检测，检测标定参数不准则需要进行自动校准。综上，有必要开展研究，开发一种算法，能够实时监测传感器标定参数，并能够自动校正，以保证传感器的可靠性和准确性。传感器无关的意思是和具体某种传感器方案无关，之前的一些深度学习标定方法虽然能够做到在线校准，但是往往仅仅预测了某一种传感器配置下的传感器标定参数，如果传感器位置发生较大变化或者更换传感器，则往往需要重新进行训练。那么有没有类似于OpenCalib的CalibAnything方法出现，未来是很值得期待的，它可以在大部分道路环境下对大部分传感器配置方案在不需要重新训练情况下进行在线自检和校准。

上海交大博士，国内首个BEV教程作者：柒柒

• 从BEV 3D Object Detection的角度来看，2024年这个技术的发展将会是自动驾驶领域重要的一环，进一步推动自动驾驶汽车的商业化和安全性。
• 一方面，从算法角度，随着技术进步，BEV 3D检测算法可能会变得更加精准和高效，包括对复杂环境的更好理解、更低的误检和漏检率，以及更快的检测速度。
• 另一方面，随着硬件系统的进步，如激光雷达（LiDAR）、毫米波雷达和高分辨率摄像头等关键传感器的进一步发展，提供了更高的分辨率、更远的检测范围和更好的环境适应性。同时，随着硬件性能的提升，实时处理大量复杂数据的能力将显著增强，这对于自动驾驶尤其重要，因为需要即时反应来确保安全。
• 总而言之，随着BEV技术的日益成熟，BEV检测系统的整体效率和性能将会得到进一步提升，有希望应对复杂城市环境和不同的驾驶场景。

新加坡国立大学博士：孔令东

• 2024年自动驾驶行业值得期待的地方：
• 图文大模型与自动驾驶相结合，有可能会出现不依赖于显式感知模块的自动驾驶系统。
• 随着图文大模型能力的不断增强和轻量化，其将可能直接赋予自动驾驶控制系统指令，实现从传感器数据采集到决策输出的端到端模式，从而跳过传统的采集-感知-决策-控制的范式。

头部3D&4D毫米波雷达算法专家：晓畅Auto

• 虽然今年的行业寒冬很刺骨，不过智驾行业一直是起起落落，但又在不断螺旋式前进。相关技术发展也是远超预期，想想一年前哪有BEV+Transformer，现在变成了主流。毫米波雷达行业也是一样，从4D雷达概念提出到今年的一波股市热度，也经历快一两年了，是时候开始起飞了。就目前来看行业里几乎每一家都在从事4D雷达的开发，并且4D雷达取代3D雷达是毫无悬念的大趋势，接下来主要关注技术的成熟度和如何降本，这也是主机厂最关心的问题，总之4D雷达并不是一个炒概念而是实实在在的发展方向，希望各位都能借着东风，乘势起飞！

多模态3D感知算法专家：阡陌

• 2024年自动驾驶行业，我认为有两个值得期待的地方。其一，以授课的多模态三维目标检测为例，目前还缺少一个基于transformer统一点云和图像的三维感知大模型。
• 一旦大模型出来，不仅能够解决跨域的问题，还可以比较方便地应用到许多下游的任务中，比如点云分类，检测，跟踪，预测等。其二值得期待的是自动驾驶的仿真系统，
• 代表性的一篇工作是UniSim，可以比较好地模拟生成激光雷达、相机图片等原始数据，这有利于解决实际场景中的corner case,这对保障自动驾驶系统的安全具有重要的意义

Top2博士，Transformer与大模型专家：Tiger

• 我认为24年自驾里面可能会有些更多大模型的身影，比如一些LLM的大模型辅助场景的理解，障碍避险，辅助控制与决策。
• 科研界可能会更多地关注多模态大模型和生成模型的设计，以及如何利用大模型解决自己领域的问题。另外，Transformer的结构是写到教科书里面那种，是每个从业者都必须知道和了解的结构了。
  
  

自动驾驶之心嘉宾，算法专家：苹果姐

• 目前基于BEV的实时局部建图,也就是去高精地图化已经成为各大自动驾驶玩家竞相追逐的方向,已经有多家公司发布初步落地方案,在2024将会进一步完善并大规模推广,如何得到更加准确,稳定,高效的局部地图,并在此基础上进行整合,形成可实时更新的完整地图,更彻底地消除对传统高精地图的依赖,会成为2024年的热点方向
  
  

某头部大厂高级算法工程师：宁远

• 过去一年中，PNC部分最令人兴奋的进展我觉得是end-to-end planning的相关研究，学术界中UniAD斩获cvpr best paper；工业届中tesla公布了FSD v12的最新进展。当然目前只是拉起了端到端自动驾驶的研究热度，还远没有达到传统方法的性能(至少从马斯克的直播来看現SD在不太复杂的路段，行驶45分钟闯红灯接管一次，mpi不算很高)。其实业内头部公司已经很早就在布局ml planner和传统方法深度耦合的框架，在提升智能性的同时也有安全性的保证，做到了功能互补，而完全端到端的框架至少在目前还处在一个行为不可解释的阶段。随着最近国内L3/L4高级别自动驾驶相关法规的落地，事故后的责任归属逐渐明晰，哪家公司敢真正用端到端实现L3级以上的自动驾驶，我很期待

某头部自动驾驶算法专家：Leo

• 那就来畅想一下吧，2024 年的自动驾驶。
• 对于行业，以我作为一个工程师的角度，自动驾驶仍然是一个未完全解决的系统工程问题，未来也许封闭场景下的自动化，智能化会进一步发展，但全场景的 L4 自动驾驶应该会继续呈现不温不火的状态。
• L2，辅助驾驶等似乎进入了越来越多的玩家，蔚小理，小米汽车，华为问界，特斯拉，都在鼓吹智能驾驶的噱头来更好的卖车。
• L2 算不算自动驾驶，这也许是个商业问题，于我而言，L4 以上全场景自动驾驶，才是工程师们真正的终点。
• 从这个角度讲，2024 年的自动驾驶很难有大的改观，我的期待仅限于 L2 的玩家们的喧嚣能继续让投资人们保持兴趣，让大家能坚持到真正的终点。
• 对于学术界和工业界，恕我直言，我是悲观的。尽管这一整年来，BEV OCC 世界模型 端到端等新型技术层出不从，大模型，GPT 等也曾让人惊艳和兴奋。
• 但，BEV OCC 世界模型 端到端 能拯救自动驾驶吗？
• 自动驾驶问题仍然一个系统工程问题，它不会被局部模块下的技术发展所改变。而从我的角度看到的是，学术界仍未出现突破性的技术来解决整个系统的问题，而提出新技术新方法的学者们，本身也无需对整个系统负责，学术界和业界的 gap 始终存在。
• 监督学习数据驱动的基因决定了它无法处理 corner case，系统性又导致各个模块之间互相耦合影响。学术界偏安一隅在各种假设先验下自娱自乐，业界谨小慎微为各种安全隐患吹毛求疵。双方始终保持观望，少有人愿意走出舒适区。
• 因此，我相信，自动驾驶同样也要坚持长期主义。短期内很难出现突破性革命性的技术进展。无论是封闭场景优先应用落地，还是各大厂商堆传感器也好，去雷达纯视觉也罢，本质都只是商业行为，都是为了把车卖出去，先让企业活下来。这些，不能证明自动驾驶，更不能拯救自动驾驶。

NeRF与自动驾驶知名博主：意茗

• 2024年自动驾驶行业将会离不开NeRF。
• 2022年NeRF的浪潮刚刚兴起，还没有Instant NGP、3D Gaussain Splatting这类突破性进展时，大家都还在怀疑这类重渲染的工作是否会华而不实、昙花一现，但Tesla在2023 CVPR workshop上端出了他们的NeRF街景仿真方案，才让从业者们意识到，原来NeRF还能这么用。
• 于是在2023的后半段，随着NeRF性能飞速提升，越来越多与自动驾驶相关的工作出现在各大会议上。得益于方便的建模和高真实感的渲染，NeRF天然契合自动驾驶的仿真需求。
• 因此，2024年NeRF必将日趋成熟完善，自动驾驶领域对NeRF工具的使用也将不再有门槛。届时，大规模街景以及行人和车辆的建模、编辑、组合、运动都将在NeRF的赋能下轻松实现，甚至反光、光照、天气都将完全可控，呈现出超越游戏引擎的真实质感。这样一来，自动驾驶仿真将便捷快速，极大方便了自驾算法的研发和测试，将助力自动驾驶进入新的时代。

自动驾驶之心星球成员：Leon

• 现在能够留在纯电牌桌上的oem大家会觉得是谁？理想 华为 比亚迪 半个(小鹏+蔚来)？未来的小米？传统oem再算上吉利，供应商华为/大疆/MMT/地平线，感觉工程师最后还是要和能胜出的公司绑定在一起，才稳一点；
• 也许用不了5年，tire1洗牌会比oem更快，市场上不需要那么多的智驾TIRE1，我的依据是新能源市场渗透率越来越高，15W以内纯电基本被BYD垄断，15-30目前有标杆车型，不过整体是对标Model3和Y去打，30-50按照目前趋势是蔚来主力价格带，以后理想也要进来抢肉吃:
• 感觉公司的竞争是一号位的竞争,理想有产品定位精准的李想，而且从汽车之家开始就算在汽车行业“混”了，产品定位精准+智驾不遗余力+营销+CEO超强学习能力+实干，连华为也在学理想的产品理念，新款model3也打出来移动的家的宣传，不过后面需要观察mega是否能够继续保持销量领先;
• 小鹏汽车小鹏总发布新款G9上甘岭战役到现在越来越好，王凤英加入小鹏后从营销供应链渠道方面给了小鹏最大的支撑，而且小鹏最近的x9也在学习理想，但是明年的战场更加腥风血雨，在某一个价格带能不能拿到销量TOP决定了小鹏能不能有快速的利润闭环，也决定了小鹏能走多远，在产品定义和流量上弱于理想和小米。
• 和大家一起讨论

白北老师

• 仿真领域的爆发，包括但不限于 3DGS 快速渲染技术的应用，仿真赋能的新车型数据适配，基于仿真快速解决corner case。
• 纯无图方案的优化，包括不限于拓扑推理在路口场景的突破，以及 PnC 对于无/部分 参考轨迹的新方案。
• 生成技术在理解问题上的大批量应用，包括但不限于基于 Diffusion 做检测问题和分割问题。

激光雷达专家：万仙僧

• 我觉得2024年自动驾驶行业最值得期待的，是L3相关法规的试点及逐步落地。政策法规的配套支持，预计会给智驾行业注入不小的活力。一些宣称L2.999  L2+ L2Pro的企业都在摩拳擦掌等着法规的落地推出自己的大招。一些侧重于L4的企业，也可能会重新获得投资者的青睐。期望能给预计5000亿美元的智驾市场带来一波小高潮

自动驾驶之心嘉宾：CK

• 我们觉得AIGC让我们摆脱了对真实数据的依赖，实际上提供给当前的数据标注流程一些革命机会的，我们的观点是自动驾驶对于生成模型应该有更高的要求，除了生成质量逼真以外，能否帮助模型的训练可能是更重要的需求，否则很容易陷入学界的自娱自乐