AI从零开始学会玩我的世界，DeepMindAI通用化取得突

　　机器之心报道
　　编辑：杜伟、泽南
　　通用AI的重要里程碑。
　　通用智能需要解决多个领域的任务。人们认为强化学习算法具有这种潜力，但它一直受到为新任务调整所需资源和知识的阻碍。在DeepMind的一项新研究中，研究人员展示了基于世界模型的通用可扩展的算法DreamerV3，它在具有固定超参数的广泛领域中优于以前的方法。
　　DreamerV3符合的领域包括连续和离散动作、视觉和低维输入、2D和3D世界、不同的数据量、奖励频率和奖励等级。值得一提的是，DreamerV3是第一个在没有人类数据或主动教育的情况下从零开始在《我的世界》（Minecraft）中收集钻石的算法。研究人员表示，这样的通用算法可以使强化学习得到广泛应用，并有望扩展到硬决策问题。
　　钻石是《我的世界》游戏中最受欢迎的物品之一，它是游戏中最稀有的物品之一，可被用来制作游戏中绝大多数最强的工具、武器以及盔甲。因为只有在最深的岩石层中才能找到钻石，所以产量很低。
　　DreamerV3是第一个在我的世界中收集钻石的算法，无需人工演示或手动制作课程。该视频显示了它收集的第一颗钻石，发生在30M环境步数17天游戏时间之内。
　　如果你对于AI玩我的世界没有什么概念，英伟达AI科学家JimFan表示，和AlphaGo下围棋比，我的世界任务数量是无限的，环境变化是无限的，知识也是有隐藏信息的。
　　对于人类来说，在我的世界里探索和构建是有趣的事，围棋则显得有些复杂，对于AI来说，情况刚好相反。AlphaGo在6年前击败了人类冠军，但现在也没有可以和我的世界人类高手媲美的算法出现。
　　早在2019年夏天，我的世界的开发公司就提出了钻石挑战，悬赏可以在游戏里找钻石的AI算法，直到NeurIPS2019上，在提交的660多份参赛作品中，没有一个AI能胜任这项任务。
　　但DreamerV3的出现改变了这一现状，钻石是一项高度组合和长期的任务，需要复杂的探索和规划，新算法能在没有任何人工数据辅助的情况下收集钻石。或许效率还有很大改进空间，但AI智能体现在可以从头开始学习收集钻石这一事实本身，是一个重要的里程碑。
　　DreamerV3方法概述
　　论文《MasteringDiverseDomainsthroughWorldModels》：
　　论文链接：https：arxiv。orgabs2301。04104v1
　　DreamerV3算法由三个神经网络组成，分别是世界模型（worldmodel）、critic和actor。这三个神经网络在不共享梯度的情况下根据回放经验同时训练，下图3（a）展示了世界模型学习，图（b）展示了ActorCritic学习。
　　为了取得跨域成功，这些组件需要适应不同的信号幅度，并在它们的目标中稳健地平衡项。这是具有挑战性的，因为不仅针对同一领域内的相似任务，而且还要使用固定超参数跨不同领域进行学习。
　　DeepMind首先解释了用于预测未知数量级的简单变换，然后介绍了世界模型、critic、actor以及它们的稳健学习目标。结果发现，结合KL平衡和自由位可以使世界模型无需调整学习，并且在不夸大小回报（smallreturn）的情况下，缩小大回报实现了固定的策略熵正则化器。
　　Symlog预测
　　重建输入以及预测奖励和价值具有挑战性，因为它们的规模可能因领域而异。使用平方损失预测大目标会导致发散，而绝对损失和Huber损失会使学习停滞。另一方面，基于运行统计数据的归一化目标将非平稳性引入优化。因此，DeepMind提出将symlog预测作为解决这一难题的简单方法。
　　为此，具有输入x和参数的神经网络f（x，）学习预测其目标y的变换版本。为了读出该网络的预测y，DeepMind使用了逆变换，如下公式（1）所示。
　　从下图4中可以看到，使用对数（logarithm）作为变换无法预测具有负值的目标。
　　因此，DeepMind从双对称对数族中选择一个函数，命名为symlog并作为变换，同时将symexp函数作为逆函数。
　　symlog函数压缩大的正值和负值的大小。DreamerV3在解码器、奖励预测器和critic中使用symlog预测，还使用symlog函数压缩编码器的输入。
　　世界模型学习
　　世界模型通过自编码学习感官输入的紧凑表示，并通过预测未来的表示和潜在行为的奖励来实现规划。
　　如上图3所示，DeepMind将世界模型实现为循环状态空间模型（RSSM）。首先，编码器将感官输入xt映射到随机表示zt，然后具有循环状态ht的序列模型在给定过去动作at1的情况下预测这些表示的序列。ht和zt的串联形成模型状态，从中预测奖励rt和episode连续标志ct并重建输入以确保信息表示，具体如下公式（3）所示。
　　下图5可视化了worldworld的长期视频预测。编码器和解码器使用卷积神经网络（CNN）进行视觉输入，使用多层感知器（MLP）进行低维输入。动态、奖励和持续预测器也是MLPs，这些表示从softmax分布的向量中采样而来。DeepMind在采样步骤中使用了直通梯度。
　　ActorCritic学习
　　ActorCritic神经网络完全从世界模型预测的抽象序列中学习行为。在环境交互期间，DeepMind通过从actor网络中采样来选择动作，无需进行前瞻性规划。
　　实验结果
　　DeepMind进行了广泛的实证研究，以评估DreamerV3在固定超参数下跨不同领域（超过150个任务）的通用性和可扩展性，并与已有文献中SOTA方法进行比较。此外还将DreamerV3应用于具有挑战性的视频游戏《我的世界》。
　　对于DreamerV3，DeepMind直接报告随机训练策略的性能，并避免使用确定性策略进行单独评估运行，从而简化了设置。所有的DreamerV3智能体均在一个NvidiaV100GPU上进行训练。下表1为基准概览。
　　为了评估DreamerV3的通用性，DeepMind在七个领域进行了广泛的实证评估，包括连续和离散动作、视觉和低维输入、密集和稀疏奖励、不同奖励尺度、2D和3D世界以及程序生成。下图1中的结果发现，DreamerV3在所有领域都实现了强大的性能，并在其中4个领域的表现优于所有以前的算法，同时在所有基准测试中使用了固定超参数。
　　更多技术细节和实验结果请参阅原论文。