像老司机一样驾驶,理想汽车全量推送「端到端+VLM」
新车 发布于:2024-10-25 12:29:56
2024年10月23日,理想汽车行业首创的全新一代双系统智能驾驶解决方案端到端+VLM(视觉语言模型),随OTA6.4版本车机系统进行全量推送。本次OTA更新重点围绕智能驾驶能力升级,智能空间和智能电动也同步更新,为用户带来更全面的智能出行体验。
智能驾驶方面,基于理想汽车一直以来对安全的重视,经过大规模测试,智能驾驶里程超25亿公里;用户接受度高,80%用户使用NOA驾驶,高端车型AD Max订单超70%。技术先进:训练算力达5.39亿Eflops,双系统架构每周更新两次。性能提升:新版本V4.8.6优化城市驾驶,增强超车、导航、障碍物检测和停止线识别能力。驾驶体验佳:实现全面场景覆盖,行驶舒适,通行高效,智能驾驶价值提升。
端到端模型拟人化程度再上新台阶,驾驶习惯媲美老司机
理想汽车端到端+VLM是集成了真正意义上的One-Model结构端到端模型+全球独创的VLM视觉语言模型,且率先将视觉语言模型VLM部署到车端芯片上的双系统方案,从创新技术阶段到实际落地,智能化、拟人化、稳定性程度持续稳步提升。
本次OTA6.4全量版本在端到端方面,新版本增加了路边起步、U形掉头、环岛通行等功能,增强了拥堵路况下的驾驶能力,实现了城区无断点驾驶和复杂场景下的精准操作,为用户提供更加便利畅快的智能驾驶体验。
当处于路边起步场景时,端到端模型直接输出轨迹,减少对车道的依赖。即使车辆不在车道中,也可以启发式搜索出一条从路边驶入主路的路线,实现P挡状态下双击拨杆直接起步,无需在车道内启动。起步过程中可实现环顾周围判断危险,自主礼让、避让等。
模型基于人类驾驶数据训练,能更好地理解复杂道路结构,准确预测障碍物轨迹,实现安全驾驶。更强的侧向感知能力实现“看得远、看得准”,在掉头过程中,可以更准确识别和预测对向直行车辆的行驶轨迹并做出避让动作,在环岛通行中可以更准确识别和预测旁侧切入车辆的行驶轨迹并进行合理博弈,进出环岛决策更果断,出口选择更精准。
此外,端到端还通过学习各种驾驶场景下的大量老司机数据,依赖纯模型式的算法,实现更拟人的加塞和蠕行博弈动作,它能在前车减速时绕行,无保护左转时选择车流量小的车道,并且由于端到端的低时延,能快速反应于车辆和行人的切入,确保安全和效率。
VLM视觉语言模型实现遵守交规,通行更加合理高效
截止目前,理想汽车的VLM视觉语言模型已拥有22亿参数,能更好地理解复杂交通环境。适应性强,应对未知场景,像人类一样驾驶。随着OTA6.4版本更新后,通过学习老司机数据和特殊场景,能在道路上识别中文信息,理解语义,识别潮汐车道等,辅助完成从端到端的完整驾驶循环。
列如,能读懂公交车道限行标志和黄线;可识别潮汐车道和可变车道,正确选择通行;在丁字路口主动减速,提高安全感;可识别减速带、坑洼、无灯、学校、施工等场景,提前减速并告警;在主辅路或高架场景中,准确识别车辆位置,纠正导航,确保路线正确。
不仅如此,OTA6.4版本还优化了高速NOA功能,在高速&城市快速路场景,针对前方慢车,具备更早识别、果断发起超车动作,更高效更安全。
双系统交互体验全新升级,用户体验更加便利
除了双系统在智能驾驶功能方面的重磅升级,用户交互体验方面也迎来了全新体验。OTA6.4全量版本推送后,理想汽车端到端+VLM智能驾驶双系统在车机交互页面展示更加清晰全面,系统的“所见所想”实时交互,让智驾全程可理解更安心。
系统1“快思考”的端到端模型文字弹窗相比无图NOA版本更加丰富更加易懂,实时交互按导航、交规、效率、博弈、注意提醒等相关的执行逻辑和动作。系统2“慢思考”的VLM视觉语言模型新增图文视窗,在特殊场景下,将前方感知到的画面投射到页面内,配合文案讲解模型的思考过程和结果。让用户在实际用车过程中,对于双系统智能驾驶功能“看得见、摸得着”,切身感受到双系统的智能与便利。
智能空间“玩转任务大师”
智能空间方面,理想汽车始终聚焦用户价值,以用户体验为核心,通过AI人工智能加持,打造智能座舱体验标杆。OTA6.4版本新增任务大师2.0,集成理想同学和Mind GPT,功能更智能全面。
导航地图升级到高德AutoSDK 750版,新增绿波车速、路口预警等功能。另外,当导航中发起沿途搜时,可通过触控+语音任意指定搜索关键词,针对指定类型的沿途搜具备精细筛选,例如充电站搜索时可以筛选品牌、功率,加油站搜索可以筛选品牌。出行类问答结果会在理想同学语音框中生成语音地图卡,结图文结合,展示更形象。此外,还新增了桌面卡片区间测速显示、智能通勤卡开关。
高德 AutoSDK 750版本地图界面
理想同学新增表情包和眼神追踪,新增思考、开心、疑惑表情,在阵列mic加持下,理想同学眼神可跟随发音人位置移动;理想同学语音模型也进行升级,离线语音接近在线效果,英文播报更自然;理想同学车控响应速度再度提升10%-20%;娱乐助手新增娱乐应用内容点播语义直达;用车助手新增OTA相关问答及操作指令。
MEGA车型新增舱内后视应用,随时查看后排儿童/乘客情况;MEGA车型新增二排右侧一键尊享座椅,一键开启极致乘车体验;L系列新增一三排对讲,高噪场景下依然轻松对谈。
理想MEGA二排尊享座椅
智能电动新增超充报告和充电站功率区间筛选器
智能电动方面,随着理想超充站越来越多,超充报告自然也不能落下。新增理想4C/2C/优选站超充报告。充电完成后自动生成超充报告,纯电/增程车型均可查看本次充电详情,充电时长、里程、峰值功率、平均功率等信息一目了然。可一键发送至手机,查看、保存、分享一气呵成;
同时新增充电站功率区间筛选器,筛选调节更直观,方便查找合适的充电站,高效稳定,实现城区、高速充电无忧。
超充报告
充电站功率区间筛选器
100万辆车对智能驾驶来说是一个非常关键的指标,近日,理想汽车已完成第一百万辆交付。同时,得益于理想汽车长期坚持核心技术自研,不断加码研发投入,这一次,理想汽车行业首创的全新一代智驾解决方案端到端+VLM也迎来了全量推送的重磅里程碑时刻。自此,理想汽车智能驾驶正式迈入AI大模型时代,将为百万理想用户带来更舒适、更全面、更高效的智能驾驶出行体验。未来,理想汽车还将在智能驾驶、智能电动、智能空间等方面全方位持续发力,向着成为全球领先的人工智能企业,为更多用户创造移动的家、创造幸福的家而不断努力。