确定性的机会指向的往往是需求场景，需要实干家，不断优化体验；而不确定的机会往往依托于技术创新，需要冒险家，探索出一条通向应用的路径。这也是为什么人们不会惊讶于雷军下场造车的决心，却很难完全相信杨植麟在月之暗面创业过程中表现出来的技术理想主义。在大模型领域，并没有形成像新能源车一样的市场共识。企业在确定性和不确定性之间进行的权衡，是引发行业分歧的主要原因。选择确定性还是拥抱不确定性，决定了企业是优先赚到钱，还是优先做好技术；是坚持做闭源大模型，还是赌开源大模型一定会迎头赶上；是要依靠通用模型催生引爆行业的超级应用，还是要通过小模型先占领细分市场。当前的环境下，企业和投资人都会从更现实的角度去做考量，活下去、挣到钱，比一个不确定的理想愿景更能说服人。但人们对大模型的期待是给行业带来更彻底地改变。从长远来看，现在很多企业的大模型应用，还是在对原有工具进行小修小补，很难产生引爆技术的应用，也很难抵御未来大模型技术迭代带来的洗牌。泛滥的「智能体」是最明显的一个例子。国产大模型的落地催生出各种被冠以智能体名号的聊天机器人和「XX助手」。百度文心一言中充斥着大量伏地魔、繁花-爷叔这样的模拟对话机器人；kimi+上也出现了公文笔杆子、i人嘴替等个人助理；字节豆包在抖音上的推广也都依靠批改作业、练习英语口语等简单的功能点来吸引用户。很难想象这样的聊天机器人能有多强大的生命力。如果我们对于大模型的期待仅停留在追求确定性的阶段——利用其提升智能客服的对话体验，提高资料搜集整理的效率以及扩充某些图像或生成某些代码，那么大模型能够产生的实际价值或将远不及我们现在的预期。大模型杀手级应用的出现一定是要革掉某个现有体验的命。现在来看，没有共识就是最好的消息，至少说明这个市场上，不是所有人都只满足于眼前的利益，还有人在沿着另一条逻辑路线前行，在不确定中寻找更大的可能，去打一场持久战。大模型的两种逻辑中局和终局是大模型领域目前比较有代表性的两种发展逻辑。中局的逻辑以朱啸虎（金沙江创投主管合伙人）为代表，包括一部分聚焦应用层的创业者在内，致力于利用开源大模型快速构建服务于细分需求的小模型，然后通过数据积累和模型迭代，建立竞争门槛；终局的逻辑以月之暗面为代表，倾向继续投入于大模型能力的提升，等待技术迭代引爆超级应用。在中局的逻辑里，大模型的理解、决策能力被融合到既有的场景中，让这些场景能够应用大模型的生成能力，提升解决方案的性能，从而产生新的商业化可能性。这种逻辑受到青睐的原因是，有确定性需求，可以迅速见到成效，用户付费意愿更强。在朱啸虎的介绍中，一家利用开源大模型做AI视频面试的企业2023年的收入比2022年翻了一倍；利用开源大模型做AIGC视频广告的公司2023年收入做到了5000多万元，比2022年涨了四五倍。朱啸虎追求的机会是，利用LLaMA这种快速提升的开源大模型，结合垂直场景的数据积累和人工微调，在几个月内提升某一垂直场景的效率，在大模型发展过程中先赚到第一桶金。朱啸虎对大模型的发展持悲观预期，对应用场景的开发保持乐观，主张从实际出发，把能赚的钱先赚到。月之暗面的创始人杨植麟的理念则更具技术理想主义色彩，他相信大模型会逐步完成对世界的建模，并在这个过程中自然涌现出杀手级应用。杨植麟的终局逻辑下，大模型是一种解释世界的工具，就像人会用语言描述世界、理解世界一样，大模型用数学为语言建模，让AI也能够理解世界，描述世界。AI依靠这种学习能力，逐步实现像人一样使用工具，让AGI成为帮助人链接和管理细分场景的「助理」。AI能够使用工具，也就意味着很多场景的运作方式将会迎来巨大改变。可能企业未来并不需要有一个专门的视频面试工具，也不需要有立的AI客服，而是统合到一个大模型主导的企业级智能体中，依靠智能体打通和掌控企业的不同环节。在即将被
2023伊始，先是开年毫末智行举办HAOMOAIDAY，放出自动驾驶行业最大智算中心，再有小鹏、理想新春全员信剑指城市导航辅助驾驶，随后是对话式AI大模型ChatGPT火遍全网，自动驾驶AI技术再次成为顶流。
无论是自动驾驶的“进城”，还是ChatGPT的“进化”，其背后都是对数据、算力需求指数级增长的态势以及对大模型的训练。当需求上来了，智算中心作为自动驾驶的“新基建”也就被业界越来越多的提及。
智算中心即智能计算中心，是基于人工智能理论，采用领先的AI计算架构，提供人工智能应用所需算力服务、数据服务和算法服务的公共算力新型基础设施，换句话说，智算中心其实是一个算力的供应和生产平台。那为什么有了它“自动辅助驾驶”就可以变为“自动驾驶”了？
“降服”自动驾驶边际成本 自动驾驶智算中心“专云专用”
有人说，智算中心是自动驾驶发展的助推器，因为自动驾驶算法模型训练是机器学习的典型场景之一，其视觉检测、轨迹预测与行车规划等算法模型需要同时完成高并发的并行计算，对算力有着极高的需求，而智算为提高算法模型的成熟度提供了巨大的算力。
在自动驾驶领域，说起智算中心，还得先提特斯拉。2017年，Transformer网络出现后，奠定了当前大模型领域主流的算法架构基础，随后，2020年，特斯拉将Transformer大模型引入自动驾驶领域中，是AI大模型应用于自动驾驶的开端。在这之后，特斯拉开始着手打造属于自己的AI计算中心——Dojo，总计使用了1.4万个英伟达的GPU来训练AI模型。为了进一步提升效率，特斯拉在2021年发布了自研的AI加速芯片D1，并计划将25个D1封装在一起组成一个训练模块（Training tile），然后再将训练模块组成一个机柜（Dojo ExaPOD）。最近一期的特斯拉AI DAY上，马斯克称将于2023年一季度部署完成特斯拉超级计算机群组ExaPOD。
国内方面，2022年8月，小鹏汽车和阿里云合建了当时国内最大的自动驾驶智算中心“扶摇”，专门用于自动驾驶模型训练，算力规模达600PFLOPS，相当于每秒可以完成60亿亿次浮点运算。不过这个记录仅仅维持了4个多月。
今年1月，毫末智行联合火山引擎，共同推出自动驾驶行业最大的智算中心MANA OASIS（雪湖·绿洲），每秒浮点运算达67亿亿次，存储带宽每秒2T，通信带宽每秒800G。吉利也在1月28日上线了吉利星睿智算中心，目前已接入智能驾驶和车联网实验数据近百PB，在线车辆的并发计算支持达百万辆。
从现有情形来看，成本和需求两重因素，是智算中心的诱人之处。
成本层面，算力作为自动驾驶的基本要素，需要更高性能的智算中心来完成训练、标注等工作。以毫末的MANA OASIS为例，通过部署Lego高性能算子库、ByteCCL通信优化能力，以及大模型训练框架，软硬一体，毫末把算力优化到极致。在训练效率方面，基于Sparse MoE，通过跨机共享，轻松完成千亿参数大模型训练，且百万个clips（毫末视频最小标注单位）训练成本只需百卡周级别，训练成本降低100倍。
搭建高效、低成本的数据智能体系是自动驾驶技术健康发展的基础，也是自动驾驶系统能够不断迭代前行的重要环节，更是自动驾驶商业化闭环的关键所在。
小鹏汽车董事长何小鹏曾表态，“如果现在不以这样的方式（智算中心）提前储备算力，那么今后5年内，企业算力成本会从亿级，加到数十亿级。”
如果持续使用公有云服务，边际成本不断上涨只是一方面，更重要的是，智算中心可以让自动驾驶企业实现“专云专用”。自动驾驶的开发包括从数据采集到数据筛选、打标、模型训练、回放性验证、仿真测试等等环节。而云计算的本质是租赁计算设备，云服务商的设备都是统一采购，为了获得更多客户，这些设备都具备很大的通用性，设备内部使用的CPU、GPU/AI加速器、内存的型号与规格都相对固定，很难与车企和自动驾驶公司的算法形成最佳匹配。并且，云服务厂商对自动驾驶算法的了解程度不高，不可避免的会在调度算力时出现损耗和效率不高的问题。所以，从需求的角度来看，智算中心似乎可以成为自动驾驶和车企的托底神器。
同样以毫末为例，有了MANA OASIS的加持，毫末MANA五大模型全新亮相升级，车端感知架构实现跨代升级，毫末的技术栈布局继续保持完整领先的态势，尤其在感知、认知等层面领跑行业，引领大模型、大算力、大数据发展方向，冲刺进入自动驾驶3.0时代。
拿数据采集、筛选和标注来说，自动驾驶系统在前期开发阶段，需要采集大量的道路环境数据，以此让车辆像人类驾驶员一样快速准确地识别车道、行人、障碍物等驾驶环境中的关键信息。唯一的办法是，通过在海量数据基础上不断的重复训练与验证，车辆对道路环境的认知水平逐渐趋近于真实情景，判断的准确性在这一过程中不断提升。
不仅如此，车企收集到的数据还需要进行模型训练，算法通过在数据上进行运算产生模型，而智算中心将是驱动大模型和海量数据训练的加速器。基于Sparse MoE，毫末根据计算特点，进行稀疏激活，提高计算效率，实现单机8卡就能训练百亿参数大模型的效果，实现跨机共享exper的方法，完成千亿参数规模大模型的训练，训练成本降低到百卡周级别；毫末设计并实现了业界领先的多任务并行训练系统，能同时处理图片、点云、结构化文本等多种模态的信息，既保证了模型的稀疏性、又提升了计算效率；MANA OASIS训练效率提升了100倍。
毫末智行CEO顾维灏也在详细阐释了建设智算中心的底层逻辑：“自动驾驶对智算中心的第一要求肯定是算力。智算中心的超大算力代表了有多少的AI工程师在这个练武场中能够做出什么大模型，能训练多少大模型。”
智能辅助驾驶“进城” MANA OASIS帮助毫末解决了哪些难题？
现在很多车企和自动驾驶技术企业已经开始把打造智算中心当成下一阶段竞争重点。今年1月的HAOMO AI DAY上，毫末智行董事长张凯给出了2023年自动驾驶行业趋势的十大新预测，超算中心赫然位列其中，“超算中心会成为自动驾驶企业的入门配置。”
事实上，当下，随着新能源汽车品牌普遍已经把高速公路场景下的辅助驾驶列为标配，赛场已经悄然从高速路转向城市。与高速导航辅助驾驶相比，城市行车涉及了红绿灯、十字路口、行人电动车、遮挡、固定障碍物、频繁刹停起步等一系列难题，复杂度又提升了好几个数量级。
如果仅用实测车辆去挑战这些城市场景无法穷尽的Corner Case，成本、安全性、时间都将成为企业发展的壁垒。由此，虚拟仿真就成为了解决部分成本及场景多样性的关键，其中，大规模的长尾场景需要数据中心提供充足的算力支持。同时，仿真场景对现实的回归过程，同样需要巨大的算力提供支持。
在MANA OASIS的加持下，毫末的数据智能体系MANA五大模型全新亮相升级。而在五大模型助力下，MANA最新的车端感知架构，从过去分散的多个下游任务集成到了一起，形成一个更加端到端的架构，包括通用障碍物识别、局部路网、行为预测等任务，毫末车端感知架构实现了跨代升级。这也意味着毫末的感知能力更强，产品力更强，向全无人驾驶加速迈进。
首先是视觉自监督大模型，让毫末在中国首个实现4D Clip的自动标注。毫末利用海量videoclip，通过视频自监督方式，预训练出一个大模型，用少量人工标注好的clip数据进行Finetune（微调），训练检测跟踪模型，使得模型具备自动标注的能力；然后，将已经标注好的千万级单帧数据所对应的原始视频提取出来组织成clip，其中10%是标注帧，90%是未标注帧，再将这些clip输入到模型，完成对90%未标注帧的自动标注，进而实现所有单帧标注向clip标注的100%的自动转化，同时降低98%的clip标注成本。毫末视频自监督大模型的泛化性效果极佳，即使是在一些非常困难的场景，例如严重遮挡的骑行者，远处的小目标，恶劣的天气和光照，都能准确地完成自动标注。
其次是3D重建大模型，助力毫末做数据生成，用更低成本解决数据分布问题，提升感知效果。面对“完全从真实数据中积累corner case困难且昂贵”的行业难题，毫末将NeRF技术应用在自动驾驶场景重建和数据生成中，它通过改变视角、光照、纹理材质的方法，生成高真实感数据，实现以低成本获取normal case，生成各种高成本corner case。3D重建大模型生成的数据，不仅比传统的人工显式建模再渲染纹理的方法效果更好、成本更低。增加NeRF生成的数据后，还可将感知的错误率降低30%以上，且数据生成可实现全程自动化，无需任何人工参与。
多模态互监督大模型则可以完成通用障碍物的识别。毫末在成功实现车道线和常见障碍物的精准检测后，针对城市多种异形障碍物的稳定检测问题，毫末正在思考和探索更加通用的解决方案。目前，毫末的多模态互监督大模型，引入了激光雷达作为视觉监督信号，直接使用视频数据来推理场景的通用结构表达。该通用结构的检测，可以很好地补充已有的语义障碍物检测，有效提升自动驾驶系统在城市复杂工况下的通过率。
动态环境大模型，可以精准预测道路的拓扑关系，让车辆始终行驶在正确的车道中。在重感知技术路线下，毫末为了将对高精地图的依赖度降到最低，面临着“道路拓扑结构实时推断”的挑战。为此，毫末在BEV的feature map（特征图）基础上，以标精地图作为引导信息，使用自回归编解码网络，将BEV特征，解码为结构化的拓扑点序列，实现车道拓扑预测。让毫末的感知能力，能像人类一样在标准地图的导航提示下，就可以实现对道路拓扑结构的实时推断。
毫末认为，解决了路口问题实际就解决了大部分城市NOH问题。目前在保定、北京，毫末对于85%的路口的拓扑推断准确率高达95%。即便是非常复杂、非常不规则的路口，毫末也能准确预测，比老司机还老司机。
人驾自监督认知大模型在今年2月已经被正式升级为DriveGPT，这也是全球首个自动驾驶认知大模型。它能让毫末的驾驶策略更加拟人化，安全及顺畅。目前，毫末DriveGPT已完成模型搭建和第一阶段数据的跑通，参数规模可对标GPT-2的水平。接下来，DriveGPT将持续引入大规模真实接管数据，通过人驾数据反馈的强化学习，来不断提升测评效果，同时也将DriveGPT作为云端测评模型，用来评估车端小模型的驾驶效果。
仿真测试能有效缩短技术和产品开发周期，降低研发成本。业内典型的长尾场景问题不够丰富，现实中可遇而不可求的极端场景，利用仿真平台可以便捷生成。由于仿真测试中的模拟环境需要实现多模态融合，以支持传感器模组的复杂性，因而也需要大算力的支持。
除了毫末，特斯拉超算中心拥有近2万张GPU，对自动驾驶训练效率产生立竿见影的效果，最大限度地提升了自动驾驶系统的开发效率；大陆集团的高算力集群，将开发周期从几周缩短至几个小时，使自动驾驶得以在中短期商业计划中落实；机器学习时间的缩短加快了新科技进入市场的速度；“扶摇”支持小鹏自动驾驶核心模型的训练时长从7天缩短至1小时内，大幅提速近170倍……
当前，一个不争的事实就是，在自动驾驶领域具有长期规划的车企，无论是造车新势力还是传统品牌，或者技术供应商，都在搭建自己的超算中心，以掌握稳定的算力资源，缩短开发周期，加快自动驾驶产品的上市。相反，如果没有超算中心，那么自动驾驶训练速度将明显放缓，自动驾驶企业间的差距也将愈发明显。
用智算中心打造数据护城河 数字新基建逐步成为发展“标配”
自动驾驶发展至今，业界发现乘用车智能辅助驾驶是最有可能大规模铺开的商业场景。据高工智能汽车研究院数据显示，2022年中国市场（不含进出口）乘用车前装标配搭载L2级辅助驾驶的搭载率，已经连续第二个月超过30%。智研咨询数据显示，预计到2025年，全球新车L2自动驾驶的渗透率可达53.99％。
今年，城市导航辅助驾驶也开启了量产的征程。西部证券预测，2023～2025年，国内市场上搭载城市导航辅助驾驶的车型将分别达到70万、169万和348万辆，占比将分别达到17％、40％和70％。
在城市导航辅助驾驶落地加速的背景下，更容易复制、拓展的重感知的方案，受到了更多关注。在重感知技术路线下，面对“道路拓扑结构实时推断”的挑战，毫末的选择是在特征图基础上，以标精地图作为引导信息，使用自回归编解码网络，通过结构化的拓扑点序列解码，实现车道拓扑预测。由此不难看出，业界逐渐达成共识的重感知路线，相比高精地图方案，更依赖算力加持。
人工智能是创新的加速器，智算中心则可以为各类技术创新提供支撑。一方面，智算中心可以为构建安全可信、可复用的技术研发环境提供算力设施支撑，为各领域科技研发提供智能计算服务，加速科技研发的进程；另一方面，智算中心是新一代信息技术的集成应用载体，智算中心的快速建设推广与规模化应用将推动通信服务网络、大数据、人工智能等技术的快速迭代，从而促进技术创新。自动驾驶数据是片段式的，特点是小文件多，达到百亿个，而且训练需要交换的数据多，智算中心可以提供充足的带宽，并且可以让自动驾驶模型拥有更好的并行计算框架，在训练的时候把硬件资源都利用起来。
2020年4月20日，国家发展改革委首次明确新型基础设施的范围，其中就包括以智能计算中心为代表的算力基础设施。2023年1月10日，国家工业信息安全发展研究中心推出《智能计算中心2.0时代展望报告》，指出经过5年多发展，智算中心正由1.0粗放扩张阶段走向2.0精细规划阶段。
根据相关统计和测算，目前全国超过30个城市在建或筹建智算中心，未来5年我国智能算力规模年复合增长率将达52.3%。智算中心的创新发展，将进一步为人工智能夯实“算力底座”，成为带动人工智能及相关产业快速发展的新引擎。
“我们测算，智算中心带来的成本优化是惊人的，将达到亿元级别。”这是今年1月，张凯提出的预测。从目前及未来的规划量产规模来看，毫末自建智算中心可节约巨额成本；同时，其带来的效率提升也非常明显。
人工智能发展很快，新的算法层出不穷，需尽快引入新的技术和模型，与此同时，数据是智能化发展最大的驱动力，也占据了大量成本构成。用自建智算中心来打造数据护城河，不仅能够完善产业智能生态，更能让企业在智能化方面占据先发优势，智算中心作为数字新基建，未来势必将引领自动驾驶技术持续迭代升级。
“随着模型能力的迭代，以及模型从语言模型逐渐变成一个加上生成、多模态理解的能力，相信在今年年底、明年可能会期待有质变的产生，从务实的角度来看，大模型目前阶段只是一个初步的阶段。”
文丨智驾网 王欣
一辆搭载着FSD V12.3.1 Beta的特斯拉穿梭在旧金山市闹区的傍晚，依靠纯视觉端到端的方案完成了从车位驶出到目的地停靠路边的丝滑操作。
马斯克几乎会以每两周的节奏对FSD进行一次“大改”，直到这次FSD V12.3.1 Beta的更新。
3月25日，马斯克向全体特斯拉员工发了一封邮件，要求必须为北美地区提车的客户展示并安装激活FSD V12.3.1 Beta，并在交车前让客户进行短暂的试驾。希望让人们意识到FSD确实有效。
紧接着，马斯克又随即公布特斯拉基于纯视觉方案的端到端自动驾驶泊车功能将在这几日推送，在Twitter上对FSD不惜溢美之词的进行宣扬：开特斯拉用FSD，几乎哪儿都能去。
新版本发布后，海外媒体平台充斥着该版本的测试视频，不少网友对FSD V12.3.1在北美城市道路中的驾驶能力表达了赞叹：Tahts so cool！
作为引领自动驾驶风向标的特斯拉，已经将端到端自动驾驶的热流从北美流入了国内，又从舆论场的角逐带到了今年3月15日-17日召开的电动汽车百人会的产业演讲中来（以下简称：百人会）。
端到端的风暴，在中国正式打响了“第一枪“。
纯视觉在端到端中的“AB”面
随着高速NOA走向城市NOA，自动驾驶系统的复杂程度在大幅提升，数百万行的C++代码对人工编写规则方式带来巨大的成本。
这时，完全基于人工智能和神经网络的感知模块不会存在因为手动编写规则引发效率低下的困惑，所以现如今的行业风向走到基于大模型的端到端自动驾驶。
多家企业在今年百人会论坛中亮相了行业成果的殊荣，各家对于感知的技术路线看法也各有千秋。
去年，商汤的端到端自动驾驶大模型UniAD入选了2023年CVPR最佳优秀论文。
绝影是商汤智能汽车的板块，商汤绝影智能汽车事业群总裁王晓刚在百人会上表示：“端到端的自动驾驶UniAD，是今年我们自动驾驶最大的突破，从高速到城区的领航，在这里可以看到场景日益复杂，需要大量的工程师每天去解决层出不穷的各种case。端到端自动驾驶是数据驱动，能够为我们高效地解决城区的领航，提供更加高效实践的路径。”
与传统的的单模态模型相比，多模态大模型的优点在于它可以从多个数据源中获得更丰富的信息，从而提高模型的性能和鲁棒性。
王晓刚还提到，商汤进一步提出了多模态大模型自动驾驶方案，这种方案的输入，除了各种感知传感器，系统的信息以外，还允许人机交互，通过自然语言作为输入。当自动驾驶时觉得旁边大车有压迫感，如果想要离它远一点，或者想超车，都是可以通过语言模型进行交互。
另外，输出的时候不但可以输出感知，还可以输出规控，还可以对自动驾驶做出的决策有解释性。
毫末智行CEO顾维灏也发表了对多模态大模型的看法，基于毫末的的DriveGPT，顾维灏表示，DriveGPT最核心的能力是基于持续的多模态的视觉识别大模型。
“我们把它用Token化的表达方式进行训练，再进行三维化，这是我们做大模型很重要的技术基础。”
DriveGPT是毫末智行研发的垂直领域大模型，在视觉大模型基础上，毫末又构建了多模态大模型，用以实现感知万物识别的能力。
顾维灏表示：“多模态放到视觉大模型里面，就会让视觉三维的渲染、标注、识别，能够提前自动化地理解这个照片里面，或者是说前融合后的数据里面究竟这个桌子和讲台是怎么样来分割的，所以加入了多模态大模型。在认知模型里面，我们又加入了大语言的模型。大语言模型它不仅仅是自然的交互，它还有很多知识的理解。”
网络和火山更强调座舱大模型，共识是：认为座舱大模型天生是多模态的场景。
网络的语音和大模型的一体化方案已经在极越车上落地，网络智能云汽车行业解决方案总经理肖猛认为，2024年是座舱大模型的元年。
同时，极越还是目前国内唯一采用纯视觉自动驾驶方案落地的车企，基于网络Apollo纯视觉高阶智驾能力和安全体系赋能，极越完成OCC（Occupancy Network，占用网络）升级，已形成“B.O.T”（BEV+OCC+Transformer）完整技术体系。
与传统的视觉方案相比，OCC的一个显著优势在于它能够处理未知或不常见的物体，降低了因未识别物体而可能引发的意外情况的风险。OCC还能够以厘米级的精度对障碍物进行三维建模。
3月26日，极越在其AI DAY2024技术大会上，发布了OTA V1.4.0新版软件，升级涉及智能驾驶、智能座舱、智能互联、三电等诸多领域，共计升级200多项功能。
当OCC对应在PPA（点到点领航辅助）功能上，就能使车辆拥有更合理的路线规划，并实现更流畅的变道和绕行。
火山引擎汽车行业总经理杨立伟在谈到大模型在各个行业应用时，发现汽车行业一个非常大的特点。
他表示：“手机目前交互形态还是基于触摸屏幕，通过屏幕来交互的产品形态，所以这也是为什么我们看Siri和手机里面的语音助手做的不好，我相信座舱内有非常便利的空间，目前没有大模型的时候，我们座舱的语音交互的时长和频率已经非常高，座舱是天生多模态的场景，机器想要跟人有互动更好，大模型更像一个人机交互的操作系统和人机交互的智能品。这样的话没有多模态的能力是不行的。”
端到端是自动驾驶研究和开发领域的一个活跃研究方向，这是不争的事实，但端到端自动驾驶技术尚未成熟，跟随特斯拉FSD V12的后来者虽多，但对于任何一家具备研发自动驾驶技术能力的企业来说，光是从普通架构切换到端到端技术的单项成本就颇高。
杨立伟坦诚地表达了这一观点：大模型现在在整个汽车行业的应用还是偏早期阶段。“刚才我们还在讨论，目前是量的提升，没有到质变，随着模型能力的迭代，以及模型从语言模型逐渐变成一个加上生成、加上多模态理解的能力，我相信在今年年底、明年可能会期待有质变的产生，从务实的角度来看，大模型目前阶段只是一个初步的阶段。”
感知固然重要，它提供了必要的信息输入，是司机的“眼睛与耳朵”，与它同样重要的，还有被业界及科研机构不断研究的认知，涉及到规划、决策和应对复杂或紧急情况的能力，相当于司机的“大脑”。
而只有当大模型作为自动驾驶的驾驶员，在认知层面远超于人类时，才能做出超出人类的决策能力，这时，感知、认知会不断迭代，甚至超出人类认知的上限，自动驾驶才会迎来真正所谓的GPT、IPhone时刻。
北京大学计算机学院教授黄铁军在百人会上对当下自动驾驶发展阶段进行了总结：
第一个阶段：只关心感知精度，缺乏认知的阶段，现在大部分车还处于这一阶段，就是L2、L3还很难，因为你只关心感知，不关心认知，这是肯定有问题的。
第二个阶段：特斯拉的FSD，但是他也不是真正的大模型，他只是用了Transformer，还是学人类的驾驶行为。但未来一定是对世界的深度认知，加上很强感知的时代。
不过目前，基于纯视觉方案的端到端自动驾驶，仍被很多主机厂认为是跨越鸿沟的必经之路。
因为不需要大量的人工策略、只需要采集足够多的优质驾驶数据来训练即可，可以通过规模化的方式不断扩展数据来不断提升系统的能力上限。
但这种简单也隐藏了巨大风险。
完全基于视觉的端到端自动驾驶不具备传统自动驾驶系统的“透明性”，传统自动驾驶即模块化方法，端到端自动驾驶是一体化方法，不产生中间结果，直接通过图像输入，直接输出控制信号，但这种技术路线也存在彻底黑盒，解释性差的问题。
同时，端到端模型的训练需要处理大量的数据，包括多模态视觉数据和车辆控制信号等。
当大模型训练的“暴力美学”应用在自动驾驶上
端到端可以类比做GPT-4语言模型，通过收集海量的数据加上训练而实现的。
以特斯拉为例，通过遍布全球的几百万辆量产车，可以采集到足够丰富、足够多样的数据，再从中选出高质量数据，在云端使用数万张GPU、以及自研的DOJO进行训练和验证，使得端到端自动驾驶能够从paper变成product。
OpenAI的秘诀一直以来是屡试不爽的Scaling Law——当数据和算力足够多，足够大，就会产生智能涌现的能力。
直到Scaling Law在这次百人会中被诸多次提及，意味着自动驾驶的成熟需要“暴力美学”来催化，而背后是高昂的算力支出来支撑。
黄铁军在百人会上明确强调了大模型未来超越人类的关键不是靠概率，靠的正是对海量语料，数据背后精确的理解。
顾维灏表示，伴随着人工智能和大模型的发展，自动驾驶迎来了第三个阶段：数据驱动的时代。
或许可以这么理解：大部分代码都不是工程师来写，这些工程师从第二个阶段的“软件驱动的时代”来到了第三个阶段的“数据驱动时代”，解放了过去写软件的双手，所有的工程师都是在准备数据、准备环境、训练模型、检验最后的结果、调整结构、调整参数等工作。
最近一段时间的发展，顾维灏认为或许是自动驾驶的3.0时代。“每一个时代里面的感知、认知和模型是什么样方式来实现的，都完全不一样。”他说。
智能驾驶1.0 时代，是以硬件驱动为主；2.0 时代，是以软件驱动为主；3.0 时代，则是数据驱动为主的大模型时代。
“端到端一定是未来很重要的方向，但它不会这么快到来，”顾维灏表示。他认为还需要几年的发展。“把过去的离散的部分逐渐地聚集化、模型化，把感知的模型聚集到一块，把认知的模型聚集到一块，控制的模型聚集到一块，然后再来实践车端模型和云端模型的联动。”
在 3.0 时代中，顾维灏指出端到端是最重要的方向，目前行业的发展趋势是一个从分散到聚集的过程。
在谈到算力需求时，王晓刚认为，过去发展的过程当中，从2012年AlexNet出现，深度学习神经网络大规模的应用，对于算力的需求是上千倍的提升。随着ChatGPT、GPT-4，甚至更大规模的大模型，我们有上亿倍算力需求的提升。
如何分配技术和下一代技术算力的精力、资源也是一针见血的问题。
网络智能驾驶事业群组首席研发架构师王亮在百人会活动上接受媒体采访时透露：“我们选择纯视觉路线，放弃了激光雷达把它拿掉也是资源的原因。我们希望把所有算力、数据、处理资源、人才、模型参数规模都给到纯视觉
开年以来 ChatGPT、GPT-4 的相继面世再度掀起计算机科学领域通用人工智能（AGI）研究热潮，也不断刷新我们对 AI 的认知。
作为具有人类水平表现的大型多模态模型，GPT-4 被视为迈向 AGI 的重要一步，标志着创新范式的深度变革和生产力的重新定义，也必将带来更多元的产品迁移。
截至目前，全球已经有超百万家初创公司声称使用这一秘密武器来创造新产品，而这些产品将彻底改变从法律到股票交易，从游戏到医疗诊断的近乎一切领域。
尽管其中很多是营销泡沫，但与所有技术突破一样，总会存在炒作周期和意想不到的远期效果。
事实上在另一边，进入 2023 年智能汽车领域同样十分热闹。
智能化已然成为上海车展全场关注的最大焦点，除了激光雷达等关键传感器的单点式突破，各大巨头也纷纷展示智能驾驶全产品矩阵，城市场景辅助驾驶量产落地加速推进。
更加值得注意的是，BEV、大模型、超算中心等计算机热词正在与自动驾驶、行泊一体、城市 NOA 等智驾焦点火速排列组合，颇有相互交融、双向奔赴的味道。
在这背后，一方面是近年来智驾、智舱持续升级对 AI 在汽车场景落地的数据、算法、算力不断提出更高要求，另一方面，AGI 的重大突破也已将触角伸向智能汽车，将其视为实现闭环应用的重要场景，很多企业布局已经相当高调。
日前，商汤科技 SenseTime 举办技术交流日活动，分享了以「大模型+大算力」推进 AGI 发展的战略布局，并公布该战略下的「日日新 SenseNova」大模型体系。
在「大模型+大算力」加持下，本次上海车展商汤绝影驾、舱、云一体产品体系已全栈亮相，近 30 款合作量产车型集中展出，商汤也再度分享了智能汽车时代的 AGI 落地新思考。
本次上海车展亮相的部分绝影合作车型展示
算法：AI 正式步入大模型时代
如商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚所言，「AGI 催生了新的研究范式，即基于一个强大的多模态基模型，通过强化学习和人类反馈不断解锁基模型新的能力，从而更高效地解决海量的开放式任务。」
通用大模型并非为自动驾驶而生，或为满足自动驾驶的特定任务需求而设计。但智能驾驶开发的诸多新需求已在推动算法从专用小模型向通用大模型快速演进。
首先是应对海量数据处理和 Corner Case 问题的迫切需求。
对于感知系统低频出现但至关重要的小目标及带来的潜在安全隐患，算法开发需要面对海量数据，传统的 AI 小模型将难以同时处理大数据量和高复杂度的任务。通用大模型则可用在长尾目标的初筛过程，并叠加语料文字处理得到很好的效果。
再比如智驾算法开发对自动化数据标注、降低人工成本的诉求。相比于人工标注，通用大模型将自动化对海量数据完成标注任务，大幅降低标注数据获取的时间成本和本身的金钱成本，从而缩短研发周期、提升成本效益。
处于类似的考量，近年来国内外巨头企业已围绕大模型纷纷展开各自智驾布局。
继 Google 于 2017 年提出将 Transformer 结构应用在 CV 领域图像分类，大模型已在 GPT-2、GPT-3、BERT 等当中不断证明实力，特斯拉率先站台 Transformer 大模型征战图像视觉。
国内企业也紧随其后：
毫末智行已宣布自动驾驶认知大模型正式升级为 DriveGPT，网络表示利用大模型来提升自动驾驶感知能力并将大模型运用到数据挖掘，华为也已宣布加入大模型争霸赛，自研「盘古」即将对外上线。
作为行业领先的人工智能公司，商汤在大模型领域可谓乘风破浪，过去一两年则全面将大模型能力在各业务线 20 多个场景落地，包括智能驾驶。
商汤「日日新 SenseNova」大模型体系背后是大模型研发中深厚的积累。商汤有自己的全栈大模型研发体系，其中就包括针对大模型的底层训练及实施过程中的各种系统性优化。
例如，商汤近期向社区发布的用于真实感知、重建和生成的多模态的数据集 OmniObject3D 中包含 190 类 6000 个物体，数据质量非常高。
再比如，商汤在 2019 年就已首次发布 10 亿参数的视觉大模型，到 2022 年参数规模已达到 320 亿，这也是世界上迄今为止最大的视觉模型。
此外，商汤也在智驾领域持续展示大模型能力。2021 年开发的 BEV 感知算法在 Waymo 挑战赛以绝对优势取得冠军，2021 年 BEV Former 的 Transformer 结构至今仍是行业最有影响力的 BEV 工作，今年开发的 UniAD 是业内首个感知决策一体化的端到端自动驾驶解决方案。
在技术实力的另一端是量产进度。商汤也给出了自己的智能驾驶量产公式：
自动驾驶技术能力=场景数据 x 数据获取效率 x 数据利用效率² =场景数据 x 数据获取效率 x 先进算法 x 先进算力。
而先进的算法大模型不仅将通过跨行业数据汇聚提升驾驶场景数据资源，通过数据闭环开发模式和自动数据标注提升数据获取效率，更将大幅提升感知精度和感知丰富度进而成倍提升数据利用效率。
依托原创 AI 算法和模型积累，商汤领先的 BEV 感知算法推进国内首批量产应用，并采用 Domain Adaption 算法有效解决跨域泛化问题。商汤首创的自动驾驶 GOP 感知体系将目标数据获取的人力成本降低 94%，实现低成本的车端模型开发，目前也已投入量产应用。
算力：智能汽车时代的重要基础设施
随电子电气架构技术由分布式不断向集中式演进，大算力芯片成为新型电子电气架构实现的物理基础。
近年来车端芯片算力发展突飞猛进，如英伟达规划中的 Atlan 单颗芯片算力超 1000TOPS，THOR 单颗算力超 2000TOPS，将大幅提升单车感知决策能力。
而在云端，AGI 在自动驾驶、网联等场景的泛化应用将提出比车端指数级更高的算力要求——从数据标注到模型训练，从场景仿真到算法迭代。
算力将是智能汽车时代的新型基础设施。
在此背景下，近年来主流企业纷纷开启双线并行探索，车端自研算力平台，云端建立超算中心。而进入大模型时代后，数据量随着多模态的引入也将大规模增长，因此必然也会导致 AGI 对算力需求的剧增。
可以看到，英伟达车端云端同步布局并将提供端到端的全栈式 AI 加速计算解决方案，特斯拉也早在 2021 年 8 月发布自研云端超算中心 Dojo。
据近期报道，埃隆·马斯克也将成立一家人工智能公司来与 OpenAI 竞争，已购买数千个英伟达 GPU 并一直招募 AI 研究人员和工程师。
国内方面，吉利、蔚来、特斯拉、毫末智行、小鹏等企业也已跟进布局云端算力集群，投入巨大以提升智驾开发算力储备。
对于商汤来说，如果说大模型将是支撑智能驾驶的上层建筑，那么大算力就是数字基座。
商汤科技董事长兼 CEO 徐立表示，目前大模型对基础算力、基础设施的需求非常旺盛，基础算力对并行效率的要求也非常高，但真正好用的基础设施其实十分稀缺。
出于这一原因，商汤历时五年自建了业界领先的 AI 大装置 SenseCore，完成 2.7 万块 GPU 的部署并实现 5.0 exa FLOPS 的算力输出能力，是亚洲目前最大的智能计算平台之一，可同步支持 20 个千亿规模参数量的超大模型同时训练。
位于上海临港的 AIDC 人工智能计算中心将为智能汽车的数据存储、标注、脱敏、仿真训练、算法迭代到部署的闭环提供算力支持，打通基于数据驱动的算法生产全流程，加速高级别智能驾驶技术的 AI 模型生产和持续迭代，推动实现规模化量产。
在 AIDC 的基础上，AI 大装置也将提供支持大模型生产的一系列服务：
如此规模的算力设施即使特斯拉同期也尚难以望其项背，也必将推动大模型的高效闭环。
「大模型+大算力」推动智能汽车行业整体进程
汽车行业正在面临百年未有之大变革。尽管此次以「大模型+大算力」推进 AGI 发展是商汤提出的战略布局，但事实上，这一理念早已在行业层面达成共识。
基于感知、决策规控和 AI 云三大核心能力，商汤「大模型+大算力」已赋能绝影驾、舱、云三位一体产品体系量产落地：
除智能驾驶领域的全栈能力和行泊一体量产解决方案外，「大模型+大算力」也正在助力商汤打造智能座舱跨场景生态。
车展期间，与商汤「日日新 SenseNova」大模型体系深度融合的绝影未来展示舱升级亮相，语言大模型「商汤商量 SenseChat」以及 AIGC 文生图平台「商汤秒画 SenseMirage」也已上车，多点融合重构人车交互方式，打造第三空间。
以「商量」为例，作为千亿级参数的自然语言处理模型，其使用大量数据训练并充分考虑中文语境，展示出出色的多轮对话和超长文本的理解能力。
商汤也展示了语言大模型支持的诸多汽车场景创新应用，如在行车过程中化身「邮件助手」自动提炼关键信息，作为「会议助理」自动生成会议纪要，大大节省用户行车时处理工作的时间和精力，为未来出行的应用场景拓展带来丰富的想象空间。
此外，以人工智能大模型开发、生产、应用为核心，一站式
