世界模型概念起源、常见误解、和自动驾驶的关系

1. 世界模型是什么人类的五感和大脑容量极为有限无法容纳真实世界的所有细节至少是无法一次性容纳因此把世界抽象简化为理想化的基本元素摆放进大脑中然后脑海中推演这些基本元素之间的相互关系推测真实世界的潜在规律然后把这些推测的潜在规律放回真实世界验证。在这个过程中我们会根据真实世界对推测规律的反馈来增加、删除和调整我们脑海中的基本元素有些需要新增或者新发明很多有用的数学概念和工具是纯粹的人类发明有些需要抛弃比如以太比如燃素有些基本元素需要调整比如虚数概念起先认为是imaging想象的后来发现其实是数平面上的二维坐标完全是真实而非想象的。在调整后的理想化基本元素基础上再次推断真实世界潜在规律再次验证如此迭代改善认识。人类把真实世界抽象出来的理想化基本元素以及人类臆想的这些基本元素的相互联系就构成人类的世界模型。形象上完全可以把世界模型可视化为一张网络图基本元素或者基本元素的群组是节点节点之间相互联系就是规律。理想化的基本元素比比皆是比如直线比如球体比如圆在现实世界中根本找不到都是对现实世界的理想化。对于人类臆想的基本元素之间的规律人类基于这些臆想规律来做出推断。有些推断在现实世界中反馈为次次为真或者在绝大多数情况下反馈为真。我们就认为我们做出这些推断背后的臆想规律是真实的这些臆想是有效的不是单纯的臆想而是获得客观世界的认可。在以上过程中如果把人类这个认知主体替换成机器学习算法这个认知主体让机器学习模型去抽象真实世界真实世界是用输入数据表示的得到理想化的基本元素并推断理想元素之间的潜在规律并根据这些潜在规律作出推断。进而根据这些推断在真实世界的反馈来迭代改进机器学习模型。这就是基于机器学习的世界模型。图 1. 世界模型示意图世界模型的概念最早可追溯到20世纪90年代的强化学习领域由Jürgen Schmidhuber实验室提出。而影响较大的以“世界模型”命名的论文是Jürgen Schmidhuber于2018年发表在NeurIPS上的《Recurrent World Models Facilitate Policy Evolution》。该论文中的世界模型主要包含状态表征和转移模型类比了认知科学中人脑的心理模型其核心作用是反事实推理即对数据中未见过的决策推理出结果。状态表征转移模型反事实推理三个概念详述如下。特别是反事实推理几乎可以说是世界模型的标志性识别特征用来区别于其它模型。1.1. 状态表征状态表征指的是用合适的方式来描述系统在某一时刻的状况或特性。其实就是前面说的把真实世界简化为理想化的基本元素。它将系统的各种属性、变量等信息整合起来形成一个能够代表系统当前状态的表示形式。状态表征的选择至关重要它直接影响到后续对系统的分析、预测和控制。其主要作用是信息简化次要作用是用于模型输入你不把世界表征为数据就无法输入给模型。信息简化系统往往具有复杂的特性和大量的变量状态表征可以将这些信息进行简化和抽象提取出关键特征便于理解和处理。模型输入为后续的分析和建模提供基础是各种预测、决策模型的重要输入。表征的常见形式包括数值和符号数值向量在机器学习和数据分析中常将系统的各个特征用数值表示组合成一个向量。例如在股票市场分析中可以用一个包含股票价格、成交量、市盈率等指标的向量来表征某只股票在某一时刻的状态。符号表示在知识表示和人工智能领域用符号来表示系统的状态。比如在棋类游戏中用棋子的位置和状态等符号信息来表征当前棋局的状态。1.2. 转移模型转移模型描述的是系统状态随时间或其他因素的变化规律即从一个状态转移到另一个状态的概率或规则。它反映了系统的动态特性帮助我们理解系统是如何演变的。其作用包括预测未来和制定决策决策也是一种推断预测未来状态根据系统当前的状态和转移模型可以预测系统在未来某个时刻可能处于的状态。这在天气预报、交通流量预测等领域有重要应用。决策制定了解系统的状态转移规律有助于制定合理的决策。例如在库存管理中根据需求状态的转移模型来确定最优的库存水平。1.3. 状态表征和转移模型两者的关系状态表征是转移模型的基础只有准确地对系统状态进行表征才能建立有效的转移模型。而转移模型则用于描述状态之间的变化进一步深化对系统动态特性的理解。例如在强化学习中智能体需要对环境状态进行表征然后根据状态转移模型来选择最优的动作以实现特定的目标。1.4. 反事实推理是区别世界模型和其他模型的试金石反事实推理 (Counterfactual Reasoning) 是一种通过构建与事实相反的假设性情景探索因果关系和潜在结果的逻辑推理方法。它不仅是一种思维游戏还在多个学科中用于分析因果关系、优化决策及情感调节。我们常说“历史没有如果”但反事实推理就是反既成事实的假设推理“历史如果...会怎样”。反事实推理的核心在于提出“如果没有采取既成路线……会怎样”的问题并基于已知事实构建一个假设条件改变后的虚拟世界在这个世界中推测可能的结果。例如当驾车回家时实际选择了道路A但发现非常耗时于是猜测——如果走道路B回家时间是否会更短。这种“如果”的陈述形式即为反事实推理。反事实推理需要依赖因果模型与概率论支持以确保假设情景下的推断具有合理性。2. 世界模型不是什么2.1. 所谓的世界模型只是一个领域的世界模型虽然世界模型要求涵盖范围尽可能广泛但世界模型并不是需要涵盖整个世界涵盖某一领域的小世界也是世界模型。“一花一世界一树一菩提”涵盖整个世界的模型太大了几乎不可能作为单体存在至少目前不可能存在。任何一个领域的任何一个细分分支都可以有自己的世界模型。2.2. 世界模型是动态模型而非静态资料集。世界模型是根据动态输入进行动态输出的动态模型。全世界所有的书籍和论文不构成世界模型因为无法接收输入处理输入。2.3. 世界模型并不是某一种特定的技术或者算法而是一种理念和方向。比如深度学习中的卷积神经网络 (CNN) 或是循环神经网络 (RNN)。相反它是一个综合的概念旨在通过多种技术和方法的结合来实现对世界的理解。2.4. 不具备反事实推理的能力的模型不是世界模型。反事实推理可谓是世界模型的图灵测试满足则是不满足则不是。原因在于目前模型大都是有标注数据的监督学习的产物。用来训练模型的带标签数据就是模型所认识的事实模型就是在“学习”这些事实的内在对应关系。反事实推理则是要求如果模型训练用的事实都不成立问模型会发生什么事情这个要求超越了这些模型的能力。3. 世界模型的主要实现路径目前世界模型的主要实现路径如下3.1. 基于多模态大模型统一理解与生成将图像、文本和视频编码为一个离散空间在多模态混合序列上从头开始联合训练一个 Transformer以实现多模态的统一理解与生成如智源研究院BAAI的Emu原生多模态世界模型采用多模态自回归技术路径使模型具备原生多模态能力实现了图像、视频、文字的统一输入和输出。图 2. 多模态大模型示意图多模态大模型的性能提升基本遵循 Scaling Law效果随着数据量和参数量的扩大而提升未来将不断挑战千亿参数乃至万亿参数并且可能从稠密模型转向 MoE 架构以获得更快的理解与生成速度。3.2. 基于强化学习智能体在环境中进行试验和探索通过与环境的交互不断接收奖励反馈信号根据这些反馈调整自己的行为策略以最大化长期累积奖励。在这个过程中智能体逐渐学习到环境的状态转移规律和不同行为的价值从而构建起对世界的模型。例如机器人通过在实际场景中的不断尝试和学习利用强化学习算法来构建关于自身运动、环境感知和任务完成情况之间关系的世界模型以便更好地完成各种任务。图 3. 强化学习示意图3.3. 基于生成式模型通过学习大量的数据来生成新的样本从而捕捉数据中的潜在模式和结构。在世界模型的构建中生成式模型可以用于生成逼真的图像、视频、文本等以模拟现实世界的各种场景。例如谷歌 DeepMind 致力于开发能够模拟物理世界的巨大生成式模型通过整合多种数据模态不仅生成逼真的图像和视频还能预测未来的场景变化。图 4. GAIA-1自动驾驶生成式世界模型GAIA是一个能生成逼真驾驶场景的生成式世界模型通过学习表示来捕获规律通过生成样本来预测未来事件为自动驾驶技术的训练提供了新的可能性。原始论文在https://arxiv.org/abs/2309.17080以上这些途径为了达成反事实推理能力不仅寄希望于模型能够捕获训练数据所代表的规律还希望模型能补获潜在模式也就是训练数据所代表的规律更深层次的规律 meta law。在自动驾驶领域汽车企业通过构建世界模型来理解道路、交通和车辆等相关信息实现更安全和智能的驾驶决策。也有企业致力于将视频生成提升到 4D 世界模型赋予 AI 大模型对于 4D 空间的理解、生成、常识和推理的能力实现 4D 空间中的交互和行动走向通用空间智能。所谓4D 世界模型意味着不仅要生成逼真的三维空间场景还要准确地把握和生成时间维度上的变化也就是三维物体的时间循序和时间速度包括物体的运动、场景的动态演化等等。4. 世界模型和自动驾驶的关系自动驾驶技术非常关注世界模型的发展因为世界模型对自动驾驶的改善有如下用途4.1. 数据生成与场景预测生成未知场景就是在预测未知场景世界模型能够通过学习真实世界的驾驶数据分布生成多样化且逼真的驾驶场景视频。这些生成的场景不仅丰富了训练数据集还特别有助于模拟那些在现实中难以采集到的长尾事件如极端天气、突发事故等从而提高自动驾驶系统的鲁棒性和适应性。具体步骤如下两步数据类型描述真实驾驶数据自动驾驶车辆采集的实际驾驶数据用于训练世界模型生成场景数据利用生成模型创建的虚拟驾驶场景补充真实数据不足的问题4.2. 感知与动机-动作预测能力提升基于世界模型所提供语义信息及对世界的理解力自动驾驶模型的感知与预测能力有望得到显著提升。这意味着系统不仅能更好地识别周围环境中的物体如车辆、行人、障碍物等还能更准确地预测它们的行为意图。其实也就是猜局能力猜测进一步行为的能力。现有驾驶世界模型DWM (Driving World Models) 预测未来的潜在状态与想象的环境进行高效交互从而提升规划性能。驾驶世界模DWM是预测驾驶场景演化的关键技术能够帮助自动驾驶系统感知、理解并与动态驾驶环境交互。例如GAIA-1 通过 diffusion 解码器捕获驾驶场景中的时空动态和高层结构DriveDreamer 扩展了条件 diffusion 框架支持多模态控制和合成数据生成这些都是 DWM 在自动驾驶领域的具体应用方式。4.3. 控制智能体行为这主要是强化学习的领域世界模型是一种基于神经网络的模型可以将环境的状态、动作和奖励之间的关系建模并用于控制智能体的行为。这使得自动驾驶系统能够根据当前环境状态选择最优行动策略。此外世界模型还可以作为学习型模拟器或是在基于模型的强化学习 (RL) 或规划中进行“如果-那么”思维实验的基础。4.4. 减少对人工标注数据依赖传统方法通常需要大量的人工标注数据来训练自动驾驶系统而世界模型可以通过自监督学习的方式减少这种依赖。具体来说世界模型凭借自动驾驶车辆采集的大量实景视频数据利用生成模型生成未来场景并与真实的未来时刻数据对比构建损失函数这样就可以不依赖于人工标注的数据进行训练。4.5. 世界模型作为端到端自动驾驶模型的新范式在端到端自动驾驶模型的新范式下人为规则的方法逐渐被削弱或者消失AI系统需要完全自己去学习如何驾驶。世界模型在此过程中帮助系统从海量数据中提取有用底层规律并形成自主决策能力。如前所述世界模型其实还是一个高度动态的发展方向是对现有人工智能技术的综合和扩大。世界模型希望足够巨大的训练数据和足够庞大参数的神经网络能够依靠“涌现”来发现训练数据本身不能直接包含的更底层规律和模式。涌现的意思是巨大数量的简单模式的叠加和组合出现了远比简单模式来的复杂和高级的现象比如生命的出现。对于涌现我们只知道它存在并在人工智能发展中比如chatGPT中观察到它的出现但基本机制还在探索中。图 5. Jochen Fromm 对涌现的分类