在我的世界中挖钻石有多难?没有一个AI能在15min内完成
萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
从0开始在《我的世界》 (MineCraft) 中挖出一块钻石 ,需要多长时间?
对于熟悉游戏的玩家来说,可能只需要几分钟的时间:
图源Youtube@ItzJhief
然而对于AI来说,15分钟 内可能都挖不出1块钻石!
为了发掘AI的潜力,CMU、微软、DeepMind和OpenAI联手在顶会NeurIPS 上举办了一个名叫MineRL的竞赛,要求参赛队伍在4天 时间内,训练出一个能在15分钟 内挖出钻石的AI"矿工"。
从往届表现来看,冠军连40分都拿不到,甚至举办方给出的AI Baselines只能达到2分 左右的水准(满分100分) 。
今年,腾讯的绝悟AI 却以76.97分 的绝对优势一举夺魁,成功成为挑战赛历史上"挖矿最迅速"的AI。(不过,这几届的所有AI,都没能达成15min内挖出钻石这一挑战)
红色为绝悟AI分数
腾讯AI Lab是怎么拿到冠军的?"AI矿工"为何难以挖出钻石?
之所以AI难以在竞赛中迅速 挖出钻石,主要有两方面的原因。
一方面,《我的世界》游戏本身对AI有难度。
作为开放世界游戏,它的初始世界完全随机生成 ,而迅速合成钻石又需要比较复杂的步骤:既不能只用一种工具,也不能"一挖到底"。
通常来说,从0开始挖钻石最快的方法,分为7个步骤 。
第一步,玩家在空手进入《我的世界》中时,需要先找到树上的木头,用来获取木块:
第二步,将这些木块用来合成工作台:
第三步,在工作台上合成木镐,用来挖石砖:
第四步,获得石砖之后,需要合成一个石镐,用来快速挖铁矿:
第五步,为了将铁矿合成铁锭,还需要做一个熔炉来烧铁:
第六步,合成铁镐,用来挖出钻石:
第七步,寻找钻石,并用铁镐来挖出最终的钻石:
看到这里,就知道挖矿对于AI来说,已经很复杂了,不仅面临大量决策,还需要考虑时间问题。
另一方面,为了增加难度,举办方还特意给"AI矿工"们增加了不少限制。
禁止参赛者编写规则、游戏环境将背包信息与动作空间加密、不允许使用预训练模型、AI与环境交互不超过800万次、只能使用6核CPU+半张NVIDIA K80显卡训练4天……
当然,这样做是为了让各大高校的学生也有能力参与这次挑战赛,不至于出现硬件上"军备竞赛"的问题。
面对来自游戏和举办方的"挑战",腾讯的绝悟AI是如何成为一名优秀矿工的?如何让AI更快地挖矿?
首先,是整体训练策略的问题。
要想让AI在短时间、少算力 的情况下变得会挖矿,首先就要改变训练策略。
这种情况下,不可能再用强化学习对AI进行整体训练。
因此,腾讯AI Lab将强化学习进行了"升级",提出了一种基于分层强化学习 (Hierarchical Reinforcement Learning) 的方法。
简单来说,就是将挖出钻石的过程像人一样分成几个具体的步骤,每个步骤都有一个"小目标",让AI在完成一个目标后,能迅速地实施下一个目标。
然后,就是三个细节上的问题了。
其一,开放地图的理解问题。
由于表示学习在《我的世界》这样的3D场景中效果很差,腾讯AI Lab设计了一种基于动作感知的算法,来捕捉每个动作对环境的影响。
这种方法快速地提升了AI在开放世界中获取资源的速度。
其二,策略选择问题。
在游戏进行到一定阶段后,AI与人的思路会发生一些差异,仅凭人类数据训练,对AI的提升作用有限。
为此,腾讯AI Lab采用了自模仿学习的算法,从自己的实践中获得教训和经验,来降低进入危险区域、做出错误决策的概率。
其三,合成物品问题。
合成物品对于人类来说非常简单,然而AI却总是不容易合成它,成功率一开始甚至只有35% 左右。
为此,腾讯AI Lab采用了动作序列一致性过滤(Consistency Filtering) +基于投票的集成学习(Ensemble Learning) 方法,最终将合成物品的成功率提升到96% 。
最终在评分中,绝悟AI的分数达到了76.97分。
事实上,在游戏AI上一路向前的"绝悟",已经历了数次进化。
从最初攻克Atari游戏开始,到后来的棋牌游戏AI"绝艺",掌握一手围棋、象棋、麻将的绝活。
再到现在的策略协作型AI"绝悟",从MOBA、FPS再到开放世界游戏《我的世界》,这个基于强化学习训练的智能体正在变得愈发复杂。
这次的《我的世界》版绝悟AI论文 也已经放出,感兴趣的小伙伴可以冲了~
《我的世界》版绝悟AI论文地址:
https://arxiv.org/abs/2112.04907
参考链接:
[1]https://www.youtube.com/watch?v=CnKJgA93hyY
[2]https://www.aicrowd.com/challenges/neurips-2021-minerl-diamond-competition#team
[3]https://www.aicrowd.com/challenges/neurips-2021-minerl-diamond-competition/leaderboards?challenge_round_id=956
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
天冷了,为啥你的手机耗电这么快?!夏天,有一种热叫出门5分钟,流汗两小时。冬天,有一种冷叫手机被冻得耗电贼快!小伙伴们有没有过这种体验,冬天在温暖如春的室内,手机明明能撑很久,而在寒冷的室外时,却眼睁睁看着电量快速
Unity将推出XRHands软件包,无需头显专用SDK即可支持手部追踪Unity的新软件包允许开发人员添加手部追踪,而无需使用特定于头显的SDK。以前,在Quest上添加对无控制器手部追踪的支持需要导入OculusIntegration,还添加了一系
广西云南沿边公路游(一)一月九日,我们俩从长沙开启G219的广西云南段的沿边公路游。启程前同学一家三口开一台车从衡阳出发我姐及外孙跟我们的车一起走到南宁,然后他们返衡。这次往南走,同样还是高速第一站阳朔。
Mirror2官方致歉改名是为了避嫌接受大家批评Mirror2ProjectX官方今日再次发文致歉,对退款相关事宜进行了说明,并解释了Mirror2ProjectZ更名为新星岛物语的原因。公告原文在Mirror2的开发过程中开发
产后慢性腰痛,应警惕髂骨致密性骨炎!拍个X线片就可以明确髂骨致密性骨炎(osteitiscondensansilii),在德国也被称为髂骨浓缩性骨病(osteopathiacondensansilii)或髂骨三角性骨增生(hyperos
26天全力抢救,漳浦县304周早产儿转危为安近日,出生胎龄仅30周4天的早产儿小希(化名),在位于福建漳州的漳浦县医院新生儿科医护人员26天的全力抢救和精心呵护下,顺利渡过难关,康复出院。11月29日早晨,胎龄30周4天,呼
如果胎儿脑部有点小畸形,你会选择生下来吗?我是一个二胎宝妈,本来有一个男孩,是坚决不想要二胎的,但是事与愿违,突然有一天发现例假推迟了好几天,一测怀孕了,本来是打算不要的孩子的爸爸非得要,而且那个时候正好是疫情期间,封村,
11岁女孩来月经还能长高吗?女孩来月经要注意什么事项家里有女娃娃的父母都知道,在陪伴孩子成长的过程中,有一件事非常重要,那就是女孩子第一次来月经。月经来了,说孩子已经进入青春期,孩子开始长大了,是一件让家长很开心的事。但不同的父母反
孕妇阳了对腹中的宝宝有影响吗?孕妇阳了对腹中的宝宝有影响吗?病毒想要影响胎儿,都需要通过胎盘屏障。孕3个月之后,胎盘形成,胎盘屏障建立,此时孕妇即使得了新冠对胎儿来说,也没有什么影响。孕妇新冠阳性,可以顺产吗?
永远别和新生儿的妈妈说,他睡你也睡啊!对于没有经历过的人来说,他们永远无法理解你所受的苦,所以自然也不会知道,他们口中的安慰,其实就是往你心口戳刀子。对于刚生完宝宝的妈妈来说,这句话一定不陌生我知道你带娃辛苦,孩子睡了
什么时候可以给宝宝吃大人饭?除了看年龄,这几点也别忽视导语什么时候可以给宝宝吃大人饭?除了看年龄,这几点也别忽视宝宝出生后,先要喝几个月的奶,长到六个月左右,不仅要喝奶,还要吃辅食。但不管是喝奶还是吃辅食,它们都是一个过渡,最终宝宝都