首先,在预训练阶段通过引入量产驾驶数据,训练初始模型,再通过引入驾驶接管 Clips 数据完成反馈模型(Reward Model)的训练,然后再通过强化学习的方式,使用反馈模型去不断优化迭代初始模型,形成对自动驾驶认知决策模型的持续优化。
同时,DriveGPT 雪湖·海若会根据输入端的提示语以及毫末 CSS 自动驾驶场景库的决策样本去训练模型,让模型学习推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。
毫末智行 CEO 顾维灏表示,毫末 DriveGPT 雪湖·海若通过引入驾驶数据建立 RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化。据毫末方面的说法,在 RLHF 的加持下,Hard Case 通过率提升了 48%。
二是弹性调度资源的升级。毫末构建了一个大模型持续学习系统,数据以动态数据流的形式结合增量学习,持续不断地将量产回传和筛选的存量数据,传入认知和感知 Pretrain 大模型。
三是吞吐效率的升级。在 Transformer 的大矩阵计算上,毫末通过对内外循环的数据拆分,尽量保持数据在 SRAM 中提升计算的效率;在传统的训练框架中,通过引入火山引擎提供的 Logo核心算子库实现融合,端到端吞吐提升 84%。
另外,毫末表示,自动驾驶数据智能体系MANA架构已迎来全线升级。截至2023年4月, MANA 学习时长超 56 万小时,相当于人类司机 6.8 万年。
在 MANA 发布迭代一年后,在本次 AI DAY 也迎来升级,具体包括:
首先,MANA 感知和认知相关大模型能力统一整合到 DriveGPT 雪湖·海若中;其次,MANA计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化,并集成到 OASIS 中;第三,增加了使用NeRF技术的数据合成服务,降低 Corner Case 数据的获取成本;最后,针对多种芯片和多种车型的快速交付难题优化了异构部署工具和车型适配工具。在视觉感知能力上,毫末对视觉自监督大模型做了一次架构升级,将预测环境的三维结构,速度场和纹理分布融合到一个训练目标里面,强迫模型练好内功,使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过 400 万 Clips,感知性能提升 20%。
顾维灏举例称,在泊车场景下,毫末将鱼眼相机也引入到视觉 BEV 的感知框架当中,鱼眼图像通过 2D backbone 提取出视觉特征,经过空间转换映射至 BEV 空间,并在该空间下对于障碍物的轮廓边界进行识别和测量,目前可做到在 15 米范围内达测量精度 30cm,2 米内精度高于 10cm。
除了用自监督大模型练内功,毫末还公开了在纯视觉三维重建方面的一些进展。
毫末对 NeRF 做了升级,将视觉感知结果转化为可用于 BEV 模型训练的带 3D 标注的真值数据,目前可以做到重建误差小于 10cm。
单趟重建有时会受到遮挡的影响,不能完整地还原三维空间,因此毫末尝试了多趟重建的方式——即将同一地点不同车辆在不同时间经过的数据合并做多趟重建,由此提升场景还原度,重建效率可提升 5 倍。
重建之后,MANA 可以编辑场景合成难以收集的 Corner Case。毫末表示,近期训练了一个可以在静态场景做虚拟动态物体编辑的模型,可以控制虚拟物体在场景中按照设定的轨迹运动,由此合成各种 hardcase,例如近距离回车,行人、电动车交互行为等。
2023年将是智驾产品大考之年“2023 年智驾产品进入全线爆发期。”毫末智行董事长张凯在活动上表示。
张凯判断,城市导航辅助驾驶产将在 2023 年将围绕量产上车发力,主要玩家的城市导航辅助驾驶产品进入到真实用户覆盖和多城市落地的比拼。
其次,行泊一体和末端物流自动配送产业商业化将成为自动驾驶公司深耕的重点。在乘用车领域,搭载行泊一体功能的智驾产品将迎来前装量产潮;在末端物流自动配送领域,末端物流自动配送车在商超、快递等场景迎来爆发,2023 年将在这些场景实现可持续商业化闭环。
在 AI DAY 上,毫末表示其城市 NOH 已在北京、保定、上海等城市开启泛化测试,即将量产上车。张凯表示,到2024 年,毫末城市 NOH 将有序落地 100 城。
一年之内,从三座城市扩张至百城,毫末给出的目标可以说十分激进。
截至目前,毫末三代乘用车产品搭载车型近 20 款,毫末辅助驾驶用户行驶里程突破4000万公里,HPilot2.0 日均里程使用率 12.6%。
毫末智行透露,目前已与 3 家主机厂(包括长城)签署定点合同,相关项目正在交付中。
结合毫末往届 AI DAY 的动态来看,从发布中国首个数据智能体系 MANA,到建设智算中心雪湖·绿洲,再在其基础上训练出参数规模达 1200 亿作为 DriveGPT 雪湖·海若模型,毫末的闭环思维始终贯彻其技术始末,并逐渐形成数据驱动的闭环。
正如毫末所言,2023 年将是智能驾驶冲刺之年、大考之年。这对毫末来说,这也是长久技术布局走向落地应用的关键时期;毕竟,毫末要在 2025 年实现城市 NOH 落地 100 城,这并不是一个简单的事情。
(本文首发钛媒体App,作者|肖漫,编辑|张敏)
相关文章
猜你喜欢