大模型重塑智能汽车体验
就汽车行业和大模型的关系,大模型可以在自动驾驶、座舱智能化、人车传感器互联、工厂数字化等层面产生价值。从功能层面来看,目前AI大模型在汽车上主要有两种落地形式。
其中一类与智能驾驶有关,自动驾驶的进程,因为大模型又生波澜。ChatGPT的出现带给自动驾驶行业很大启示,这种通过对海量多模态数据的大规模自监督学习,加之预训练+微调的方式,让AI得以完成各种复杂自然语言任务。自动驾驶,被认为是下一个可能实现突破的领域。
对此,汽车产业界迅速反应。今年4月,毫末智行发布了自动驾驶生成式大模型DriveGPT,通过引入驾驶数据建立RLHF技术,对自动驾驶认知决策模型进行持续优化,终极目标是实现端到端自动驾驶。
6月20日,理想汽车也公布了其智能驾驶最新进展,称理想AD Max 3.0进入大模型时代,当月内将向北京和上海的内测用户交付不依赖高精地图的城市NOA功能,下半年将向用户开放通勤NOA功能。该功能核心是采用了BEV大模型。
AI大模型或赋予自动驾驶更快速、准确地解决认知和决策问题的能力,或在标注、仿真、视频信息处理等多方面存在应用空间。如通过大模型优化数据标注,可以降低人工标注比例和成本,以及提升虚拟训练环境的真实性,优化虚拟训练数据等。
对于大模型上车,还有一类是用于人工智能对话交流,大多数应用在智能座舱。比如此前发布的百度的文心一言,已有东风日产、红旗、长城以及吉利银河等近十家车企宣布接入;阿里巴巴也宣布AliOS智能汽车操作系统已接入通义千问大模型进行测试等。
在研讨会上,商汤绝影智能车舱产品创新高级总监邵昌旭分享到,未来的智能座舱将成为有温度,能够更加懂你出行的管家,能够全方位的感知和理解乘客的需求。
商汤绝影智能车舱产品创新高级总监邵昌旭;图片来源:盖世汽车
通过大模型赋能,智能汽车更具“情感”,以真正向第三生活空间转变,满足乘客更深层次的生理和心理需求。值得注意的是,现在如百度的文心大模型,再或者吉利AI大模型,其在智能座舱领域最核心的应用均是在语音等交互场景,短期内可能会出现同质化的隐忧。
当然,在大模型时代,智能座舱可进化的空间远不止于此。
今天的智能座舱,本质上在功能层面并不是一个AI问题,而是用产品经理去定义座舱中的各个场景。“大模型时代的一个典型特征就是好像每一个问题都可以变成AI问题。”长城汽车智能化研发总监杨继峰说到。
长城汽车智能化研发总监杨继峰;图片来源:盖世汽车
AI问题的核心是如何让机器模拟人类的智能思维和行为。大模型时代,有机会把座舱变成一个AI问题。如自动驾驶一般,其本质是车如人一样驾驶,对于智能座舱,则是驾乘空间如何更加的“拟人”。智能座舱需要从如今的形态走向智能空间形态。
基于这种思考,若将用户历史使用习惯和车内外的当前环境状态等信息,输入给座舱的认知大模型,再利用各种生态应用或交互方式等方式来表现,以实现智能座舱的体验跃升。
现在智能空间会成为一个跟自动驾驶体量差不多的AI问题。Coding、阅读、知识搜索和推送……所有的业务重构会变成一个一个的AI问题。这带来了一个全新的挑战,“我们没有准备好。”杨继峰说到。
大模型这笔账,该怎么算
杨继峰认为大模型突然爆发的本质原因是LLM提供了一个能力和泛化能力足够强的模型基座,和一系列可以SFT、可以对齐、plug-in,以及可以重训、可以轻量化的工程范式。
落到具体的实现层面,如大模型在智能座舱方面的应用,挑战伴随着变化出现。如可能面临需要去挖掘各个不同的维度上所有的感知数据;在座舱里需要建立从来没有建立过的针对于算法的数据闭环体系等。
高合汽车前期智能产品与技术规划负责人黄骏认为,大语言模型、多模态检测模型和神经辐射场建模NeRF是比较可能落地的座舱大模型。其中,多模态检测模型的重要性愈发突出,能大幅削减检测模型标注成本。而利用扩散网络生成的SR场景能大幅降低座舱计算负载。
高合汽车前期智能产品与技术规划负责人黄骏;图片来源:盖世汽车
但从大模型开发的视角来看,今天还处在技术竞争的前期阶段,模型如何做到足够大能力足够强,形成强的竞争力是本质问题。站在企业角度,如何让大模型尽快进入产品工程赛道和降成本周期,以快速进行大规模应用,才是本质要求。
这是一个持续深化的过程。