大模型热风,刮到了汽车界。


10月24日,长城汽车与科大讯飞签署关于产业大模型及知识大脑战略合作协议,将基于讯飞星火认知大模型V3.0搭建产业首个知识大模型“长城汽车知识大脑”。与此同时,讯飞还牵手奇瑞、广汽等汽车企业。


大众汽车紧随其后。11月3日,大众汽车旗下软件公司CARIAD宣布与中国手机企业vivo合作成立手车互融联合创新实验室。双方表示,正在共同进行HMI人机交互融合、数据与算力融合、大模型等领域的探索。


vivo副总裁周围透露,vivo正式推出了蓝心大模型,未来也将携手CARIAD中国,探索更多蓝心大模型与手车互融场景的应用方向。这不禁让人猜想,大众旗下车型将搭载大模型?


从自动驾驶到智能座舱,大模型风头正劲,亦为汽车产业智能化快速迭代埋下伏笔。


车企上马大模型,更深度的人机对话成为可能


年初以来,伴随GPT等海外应用的鲇鱼效应,国内大模型也按下加速键。目前国内大模型总数已经突破200个,呈现“百模大战”的状态。


江西新能源科技职业学院新能源汽车技术研究院院长张翔向贝壳财经记者介绍,大模型是指具有大规模参数的深度学习模型,通常用于处理大规模数据和复杂任务。如今,大模型被广泛应用于自然语言处理领域,包括语言翻译、文本生成、语音识别等。同时,它也被应用于图像识别、计算机视觉等领域。


张翔提到,最近大模型之所以火爆,是因为随着大数据、云计算和人工智能技术的不断发展,大模型的能力和规模得到了进一步提升,并且在各种应用场景中表现出了卓越的性能。此外,大模型的通用性和泛化能力也得到了更好地发挥,能够适应更多任务和场景,是其受到广泛关注和应用的重要原因之一。


驭势科技定位与感知部总监张丹表示,大模型与汽车智能化尤其是自动驾驶的碰撞,大概2-3年前就已逐步开始。大模型需要投入较高的成本,但也可以切实帮助汽车自动驾驶发展,有效降低成本并提升效率,长期来看有较为广阔的前景。


大模型优势显现,多家汽车相关企业开始尝试赋能汽车的智能化。张丹表示,大模型主要赋能的领域是智能座舱与智能驾驶。此外,大模型因为对算力的要求较高,目前主要运用在云端,在单车内部的使用仍有待探索,未来可期。其中,智能座舱方面,大模型有望增强车机系统对自然语言的理解。


讯飞星火认知大模型就是瞄准人机对话的企业之一。具体来看,车机系统可以通过星火认知大模型的快速信源拓展,实现通用知识和汽车使用方面专有知识的实时更新,增强车机系统的理解力,让用户有更好的沟通体验。


此外,这一大模型可以助力车企将动辄数百页的用车手册融合到车内,为每辆车定制专属的知识库,让车辆在特定场景介绍并指导用户使用对应功能,实现车控功能指引、保养、维修服务接入和服务闭环。


根据科大讯飞介绍,未来在大模型支持下,车企可以实现专属数字虚拟人定制能力,将前期采集的形象数据和知识数据输入虚拟人驱动引擎,实现更多维的虚拟表达。


自动驾驶迭代,“大模型上车3-5年有可能实现”


自动驾驶领域,已然有AI(人工智能)大模型的身影。


轻舟智航联合创始人、CTO侯聪接受贝壳财经记者采访时表示,大模型上车,尽管目前可能还不太现实,但未来3-5年有可能实现。同时,现阶段大模型可以在云端(非车端)助力自动驾驶的发展。


目前,轻舟智航在高级别自动驾驶研发过程中积累了数据闭环能力,并创新构建了离线点云大模型,为跨模态的数据标注、数据挖掘和模型训练提供支持。举例来看,轻舟构建了基于文字到图像的多模态模型,通过自然语言文字描述,可在无监督的情况下自动检索相应场景图像,挖掘出很多在平常数据使用中很难发现,生活中也很难遇到的长尾场景,提高挖掘长尾场景的效率。


当人们输入“夜间雨天行驶的大卡车”“躺在路边的人”等文字描述时,系统就能自动反馈相应的场景,便于专项分析和训练。


侯聪表示,大模型因为参数量大,所以学习能力很强,能够替代人对数据进行处理。因为一些视觉领域的任务不算复杂,汽车自动驾驶的大模型相对来说参数更少。大模型可以帮助企业在离线(也就是云端)情况下提升自动化数据标注、数据挖掘、模型训练等方面的能力,对自动驾驶算法的高效迭代有重要推动意义,从而能让实车应用的方案(也就是车端)快速提升。


早期人工标注的成本很高,现在通过大模型甚至多个大模型的自动化标注(比如标注红绿灯),已经可以实现媲美人工标注的质量,大幅降低标注成本,这是一个已经落地的应用。


此外,数据挖掘方面,标什么数据,哪些数据更有价值,也要通过大模型的方式推进。大模型本身能对场景的一些价值进行判断并挖掘,它并不需要特别大的模型,只要是一个亿级或者十亿的量级参数就足够。


张丹也提到,通过文字+图像+点云的多模态大模型,驭势科技不断推进自动化标注、长尾数据挖掘等工作来加速技术迭代。2019年起,驭势科技开始了“真无人”商业化运营,积累了大量的自动驾驶数据,这些数据在大模型技术加持下,数据闭环的自动化程度不断提升,有效降低自动驾驶研发的成本,加速长尾问题的收敛。


在他看来,随着AI整个技术的持续提升,通过算法和数据的不断优化迭代,可以加速自动驾驶的成熟和商业化落地。


大规模应用尚需时日,可靠性和安全性待考


大模型与汽车行业融合已成趋势,不过,挑战同样存在。


张翔表示,目前大模型在汽车行业的应用刚起步,仍然依赖5G网络、通讯信号、数据实时更新、信息安全等全方位保障,大规模应用还需等待时日。目前,有不少车企实际上并未发布大模型相关成熟产品,可以说车企紧跟潮流,但是也可以说部分车企有“蹭热点”的嫌疑。


“例如数据获取和标注方面,汽车行业需要大量的数据来训练和优化大模型,但其实数据的获取和标注本来就是一个巨大的挑战。汽车行业缺乏公开的、大规模的、标注好的数据集,这使得大模型的训练和优化变得非常困难。”他解释说。


此外,大模型往往非常复杂,难以解释其决策和行为,这使得人们难以信任和接受它们。在汽车行业中,可靠性和安全性是非常重要的因素,因此,如何保证大模型的可解释性和可靠性是一个巨大的挑战。


在张翔看来,汽车行业涉及大量隐私和安全问题,而大模型的训练和使用往往需要大量的数据支持,这使得数据的隐私和安全问题变得更加突出。与此同时,大模型的训练和使用需要大量的计算资源和专业知识,这使得其技术成本非常高。而大模型的应用也需要与实际的车辆系统集成,这需要涉及很多技术细节和工程化问题,落地难度较大。


张丹同样表示,大模型还不够成熟,对于摄像头、雷达收集到的“视觉”内容,在认知理解上还有一定提升空间。目前,大模型还不能直接作用于自动驾驶的底层设计。


深度科技研究院院长张孝荣向贝壳财经记者表示,大模型之所以面临困难,主要是因为它属于技术密集资金密集和顶级人才密集型行业。一方面,大模型需要大量的数据、计算资源和技术能力来训练和运行,这对于初创企业并不友好。另一方面,如果想让大模型产生商业价值、解决实际问题,就需要开发者深入了解行业和市场需求,并有能力将大模型技术与实际应用相结合。这两大原因决定了初创企业难以深入投入。


谈及未来,张孝荣认为,“行业化”是目前大模型的主要趋势之一,大量公司进入这个领域后,与其专注、熟悉的领域相结合,包括汽车、电商、社交、内容、医疗健康、金融科技等。这些公司致力于将大模型技术与自己的行业和业务相结合,开发出具有差异化竞争优势的产品和服务。


新京报贝壳财经记者 林子 白昊天 编辑 王进雨 校对 付春愔