机器之心报道
：Panda
在 LLM 应用不断迭代升级更新的当下，图灵奖得主 Yann LeCun 却代表了一股不同的声音。他在许多不同场合都反复重申了自己的一个观点：当前的 LLM 根本无法理解世界。他曾说过：LLM「理解逻辑的能力非常有限…… 无法理解物理世界，没有持续性记忆，不能推理（只要推理的定义是合理的）、不能规划。」
Yann LeCun 批评 LLM 的推文之一
相反，他更注重所谓的世界模型（World Model），也就是根据世界数据拟合的一个动态模型。比如驴，正是有了这样的世界模型，它们才能找到更省力的负重登山方法。
近日，LeCun 团队发布了他们在世界模型方面的一项新研究成果：基于预训练的视觉特征训练的世界模型可以实现零样本规划！也就是说该模型无需依赖任何专家展示、奖励建模或预先学习的逆向模型。
该团队提出的 DINO-WM 是一种可基于离线的轨迹数据集构建与任务无关的世界模型的简单新方法。据介绍，DINO-WM 是基于世界的紧凑嵌入建模世界的动态，而不是使用原始的观察本身。
对于嵌入，他们使用的是来自 DINOv2 模型的预训练图块特征，其能提供空间的和以目标为中心的表征先验。该团队推测，这种预训练的表征可实现稳健且一致的世界建模，从而可放宽对具体任务数据的需求。
有了这些视觉嵌入和动作后，DINO-WM 会使用 ViT 架构来预测未来嵌入。
完成模型训练之后，在解决任务时，规划会被构建成视觉目标的达成，即给定当前观察达成未来的预期目标。由于 DINO-WM 的预测质量很高，于是就可以简单地使用模型预测控制和推理时间优化来达成期望的目标，而无需在测试期间使用任何额外信息。
DINO 世界模型
概述和问题表述：该研究遵循基于视觉的控制任务框架，即将环境建模为部分可观察的马尔可夫决策过程 （POMDP）。POMDP 可定义成一个元组 (O, A, p)，其中 O 表示观察空间，A 表示动作空间。p (o_{t+1} | o≤t, a≤t) 是一个转移分布，建模了环境的动态，可根据过去的动作和观察预测未来的观察。
这项研究的目标是从预先收集的离线数据集中学习与任务无关的世界模型，然后在测试时间使用这些世界模型来执行视觉推理。
在测试时间，该系统可从一个任意的环境状态开始，然后根据提供的目标观察（RGB 图像形式），执行一系列动作 a_0, ..., a_T，使得目标状态得以实现。
该方法不同于在线强化学习中使用的世界模型，其目标是优化手头一组固定任务的奖励；也不同于基于文本的世界模型，其目标需要通过文本提示词指定。
基于 DINO 的世界模型（DINO-WM）
该团队将环境动态建模到了隐藏空间中。更具体而言，在每个时间步骤 t，该世界模型由以下组分构成：
其中，观察模型是将图像观察编码成隐藏状态 z_t，而转移模型则是以长度为 H 的过去隐藏状态历史为输入。解码器模型则是以隐藏的 z_t 为输入，重建出图像观察 o_t。这里的 θ 表示这些模型的参数。
该团队指出，其中的解码器是可选的，因为解码器的训练目标与训练世界模型的其余部分无关。这样一来，就不必在训练和测试期间重建图像了；相比于将观察模型和解码器的训练结合在一起的做法，这还能降低计算成本。
DINO-WM 仅会建模环境中离线轨迹数据中可用的信息，这不同于近期的在线强化学习世界模型方法（还需要奖励和终止条件等与任务相关的信息）。
使用 DINO-WM 实现视觉规划
为了评估世界模型的质量，需要了解其在下游任务上的推理和规划能力。一种标准的评估指标是在测试时间使用世界模型执行轨迹优化并测量其性能。虽然规划方法本身相当标准，但它可以作为一种展现世界模型质量的手段。
为此，该团队使用 DINO-WM 执行了这样的操作：以当前观察 o_0 和目标观察 o_g（都是 RGB 图像）为输入，规划便是搜索能使智能体到达 o_g 的一个动作序列。为了实现这一点，该团队使用了模型预测性控制（MPC），即通过考虑未来动作的结果来促进规划。
为了优化每次迭代的动作序列，该团队还使用了一种随机优化算法：交叉熵方法（CEM）。其规划成本定义为当前隐藏状态与目标隐藏状态之间的均方误差（MSE），如下所示：
实验
该团队基于以下四个关键问题进行了实验：
为了解答这些问题，该团队在 5 个环境套件（Point Maze、Push-T、Wall、Rope Manipulation、Granular Manipulation）中训练和评估了 DINO-WM，并将其与多种在隐藏空间和原始像素空间中建模世界的世界模型进行了比较。
使用 DINO-WM 优化行为
该团队研究了 DINO-WM 是否可直接用于在隐藏空间中实现零样本规划。
如表 1 所示，在 Wall 和 PointMaze 等较简单的环境中，DINO-WM 与 DreamerV3 等最先进的世界模型相当。但是，在需要准确推断丰富的接触信息和物体动态才能完成任务的操纵环境中，DINO-WM 的表现明显优于之前的方法。
下面展示了一些可视化的规划结果：
预训练的视觉表征重要吗？
该团队使用不同的预训练通用编码器作为世界模型的观察模型，并评估了它们的下游规划性能。
在涉及简单动态和控制的 PointMaze 任务中，该团队观察到具有不同观察编码器的世界模型都实现了近乎完美的成功率。然而，随着环境复杂性的增加（需要更精确的控制和空间理解），将观察结果编码为单个隐藏向量的世界模型的性能会显著下降。他们猜想基于图块的表征可以更好地捕获空间信息，而 R3M、ResNet 和 DINO CLS 等模型是将观察结果简化为单个全局特征向量，这样会丢失操作任务所需的关键空间细节。
泛化到全新的环境配置
该团队也评估了新提出的模型对不同环境的泛化能力。为此，他们构建了三类环境：WallRandom、PushObj 和 GranularRandom。实验中，世界模型会被部署在从未见过的环境中去实现从未见过的任务。图 6 展示了一些示例。
结果见表 3。可以看到，DINO-WM 在 WallRandom 环境中的表现明显更好，这表明世界模型已经有效地学习了墙壁和门的一般概念，即使它们位于训练期间未曾见过的位置。相比之下，其他方法很难做到这一点。
PushObj 任务对于所有方法来说都挺难，因为该模型仅针对四种物体形状进行了训练，这使其很难精确推断重心和惯性等物理参数。
在 GranularRandom 中，智能体遇到的粒子不到训练时出现的一半，导致图像出现在了训练实例的分布之外。尽管如此，DINO-WM 依然准确地编码了场景，并成功地将粒子聚集到与基线相比具有最小 Chamfer Distance（CD）的指定方形位置。这说明 DINO-WM 具有更好的场景理解能力。该团队猜想这是由于 DINO-WM 的观察模型会将场景编码为图块特征，使得粒子数量的方差仍然在每个图块的分布范围内。
与生成式视频模型的定性比较
鉴于生成式视频模型的突出地位，可以合理地假设它们可以很容易地用作世界模型。为了研究 DINO-WM 相对于此类视频生成模型的实用性，该团队将其与 AVDC（一个基于扩散的生成式模型）进行了比较。
如图 7 所示，可以看到，在基准上训练的扩散模型能得到看起来相当真实的未来图像，但它们在物理上并不合理，因为可以看到在单个预测时间步骤中就可能出现较大的变化，并且可能难以达到准确的目标状态。
DINO-WM 所代表的方法看起来颇有潜力，该团队表示：「DINO-WM 朝着填补任务无关型世界建模以及推理和控制之间的空白迈出了一步，为现实世界应用中的通用世界模型提供了光明的前景。」
https://www.ft.com/content/23fab126-f1d3-4add-a457-207a25730ad9
Nat. Med. | 基于视觉和语言的基础模型，用于病理图像分析
来自James Zou团队的研究论文介绍了一项突破性成果，即OpenPath数据集的创建。 OpenPath是一个包含208,414张病理图像与自然语言描述配对的大型资源库，旨在解决医学图像标注数据不足的问题。 通过利用医学Twitter等平台收集的匿名化图像和知识，研究团队开发了病理语言-图像预训练（PLIP），这是一个具备图像和文本理解能力的多模态人工智能，通过在OpenPath上进行训练，展示了数据集的价值。 计算病理学领域，人工智能算法在细胞或组织类型区分、生成诊断结果以及从常规染色的血红素和伊红染色图像中检索相关图像方面发挥着重要作用。 然而，高质量机器学习数据集如Pan-Nuke、Lizard和NuCLS等的局限性，以及需要包含自然语言注释标签的更多样化数据集的需求，阻碍了进展。 互联网上广泛分享的匿名病理图像，尤其是社交媒体上的数据，为知识共享和教育目的提供了重要价值。 在这项研究中，利用流行病理学Twitter标签，从2006年3月21日到2022年11月15日，收集了243,375张公开病理图像，并通过严格的数据质量过滤，最终创建了OpenPath数据集。 OpenPath数据集的构建包括从Twitter帖子、与帖子相关的回复中得到最多赞的回复以及从互联网和LAION数据集中获取的额外图像-文本对，总计208,414个病理图像-文本对。 这个数据集是迄今为止最大的公开可用病理图像集，带有文本描述注释，对病理学研究和教育具有重要价值。 研究团队通过对比学习，将预训练的对比语言-图像预训练（CLIP）模型在OpenPath上微调，开发了PLIP模型。 该模型在图像和文本理解方面表现出色，能够处理广泛范围内的推断任务，无需显式训练。 通过评估零样本能力，PLIP在四个外部验证数据集上展现出显著优于基线模型的性能，包括Kather结肠数据集、PanNuke数据集、DigestPath数据集和WSSS4LUAD数据集。 PLIP模型的图像编码器在四个不同数据集上训练了一个简单的线性分类器，结果显示在所有四个测试数据集上，PLIP模型均表现出卓越的性能，平均F1分数分别为0.891、0.902、0.856和0.927，显著优于CLIP模型和深度神经网络的多任务预训练（MuDiPath）模型。 综上所述，计算机视觉和自然语言处理领域的机器学习快速进步依赖于标注数据，而病理图像标注成本高、繁琐，需要专业知识。 社交媒体上的大量数据为医学人工智能提供了宝贵机会。 通过筛选这些知识，OpenPath数据集和PLIP模型为理解病理学特征、解释组织病理学异质性和识别疾病亚型以实现精准医学提供了有力支持。
让AI模型成为GTA五星玩家，基于视觉的可编程智能体Octopus来了
电子游戏已成为现实世界的模拟舞台，以《侠盗猎车手》为例，在游戏中，玩家能以第一人称视角在洛圣都中经历丰富多彩的生活。 AI能否成为GTA的五星玩家，执行任务、遵守规则、帮助他人？目前，视觉-语言模型在多模态感知和推理方面有显著进展，但其主要用于简单的视觉问答或视觉标注任务，无法完成现实世界任务。 实际任务需要理解视觉信息和规划推理能力，同时生成的规划需能操作环境中的实体。 语言模型虽能规划任务，但不理解视觉输入，限制了其在具身智能任务上的应用。 已有探索试图结合文本输入生成可执行代码，但视觉输入生成代码的深度探索仍不足。 为解决AI具身智能问题，新加坡南洋理工大学等机构提出了Octopus，一种基于视觉的可编程智能体，旨在通过视觉输入学习真实世界，生成可执行代码完成各种任务。 Octopus通过大量视觉输入和可执行代码的数据训练，学会操控游戏角色完成游戏任务或家务活动。 Octopus的数据采集与训练涉及两个仿真环境：OctoGibson和OctoGTA。 OctoGibson包含476个家务活动场景，OctoGTA则基于《侠盗猎车手》构建，包含20个任务。 研究者构建了完整数据收集系统，通过GPT-4执行任务，收集视觉信息、可执行代码和子任务成功情况，用于后续强化学习训练。 研究者在OctoGibson环境中对主流VLM和LLM进行测试，结果显示Octopus在任务完成率和规划准确率方面优于其他模型。 Octopus还展示了对模糊指令的合理规划，说明RLEF训练策略有效提升模型规划能力。 研究发现，CodeLLaMA提升代码生成能力，但未增强任务规划能力。 LLM处理长文本输入困难。 Octopus表现出较好的任务泛化能力，RLEF训练增强模型规划能力。 研究者通过实验探究了训练参数比重、模型大小和视觉输入连续性对VLM性能的影响。 研究者对比了GPT-4和GPT-4V的性能，发现GPT-4完成任务的能力仍有提升空间。 GPT-4V展示了在仿真环境中的零样本泛化能力，能根据视觉输入生成可执行代码，但任务规划能力略逊于Octopus。 研究指出当前工作的局限性，包括Octopus在复杂任务上的表现、模型迁移到真实世界的挑战以及处理连续视频的未来挑战。 Octopus通过视觉输入学习真实世界，生成可执行代码，展现具身智能能力，但仍有改进空间。
模型预热之两阶段训练(少样本优化)
迁移学习在少样本优化领域中扮演着重要角色，特别是在计算机视觉领域。 以Imagenet为例，这是一个包含了14,197,122张图片和1000个类别的大型数据集，主要用于预训练模型。 人们经常在预训练模型上进行微调，以解决特定任务。 然而，人们可能会疑惑，为什么在大量猫狗等动物图片上预训练的模型在下游任务中微调时，效果会比从零开始训练更好，且更容易收敛？这是因为Cnn网络在大量图片中学习到了图像底层信息，这些信息在下游任务中同样重要。 这一原理同样适用于自然语言处理，例如BERT的出现，它通过在大量无监督语料中进行预训练，以微调模型来解决下游任务，取得了卓越的效果。 美团算法技术团队在大众点评搜索中，除了对查询理解进行大量工作之外，还在相关性计算模型上做了许多创新。 由于美团业务数据语料与谷歌开源的BERT预训练正规语料存在较大差异，美团团队利用自己大数据语料预训练出了MT-BERT，使得模型更加适合美团的业务场景。 通过两阶段的训练方法，美团算法团队使预训练模型更好地适应了大众点评搜索场景的相关性任务。 美团团队首先采用基于领域数据的第一阶段训练，引入了点击数据作为训练样本，旨在学习搜索场景下的特有知识，提高模型的适应性。 通过统计点击率、点击位次和最大点击商户距离等特征，筛选出高质量的正例样本，并通过规则对负例样本进行降噪处理。 在第二阶段，团队引入人工标注的数据进行训练，通过难例挖掘和对比样本增强方式生成高价值样本，进一步提升模型的性能。 通过两阶段训练方法，美团团队能够有效利用大量用户点击数据，使预训练模型MT-BERT更好地适应点评搜索场景下的相关性任务。 这种方法不仅提高了模型对复杂查询和POI信息的表达能力，优化了相关性计算效果，还为其他业务场景和算法项目提供了参考。 在数据量充足的情况下，两阶段训练的效果可能不如在数据量不足时明显。 然而，在实际业务场景或竞赛中，伪标签数据的获取相对容易，使用两阶段训练可以显著加快模型收敛速度，降低过拟合风险，并在一定程度上提升效果。 这一方法不仅适用于相关性预测任务，还可以应用于许多其他任务中，通过减少下接结构和BERT主体之间的差距，提升整体下游任务的效果。
