GPT版超级马里奥来了!输入文本即可自定义游戏关卡GitHub热榜
丰色 发自 凹非寺
量子位 | 公众号 QbitAI
用 文字 生成游戏关卡 自己玩是一种什么样的体验?
GitHub今日热榜项目 《GPT版马里奥》 了解一下
瞧,你只需在文本框中输入"多点管道,多点敌人,少点障碍物,elevation低点":
点击"Generate level",就能获得自己的马里奥游戏了:
左边是玩耍区,按方向键和a、s、d键进行控制就能直接玩,右边则是根据你的要求生成的整体效果图。
随意设置这几个选项,还能解锁更多样式。
比如障碍物少一点的:
又或者是管道少一点、障碍物多一点的:
……
这一波,简直童年回忆拉满,妈妈再也不用担心我无聊了[狗头]
不得不提的是,以上你看到的这些效果,都是基于 GPT-2 完成的——
大语言模型又立功了 用GPT2生成马里奥关卡
该项目背后的模型名叫 MarioGPT 。
它是 首个 基于文本生成游戏关卡(text2level) 的模型,在GPT2(distilgpt2) 上微调而成,作者来自哥本哈根信息技术大学。
其训练素材包括《超级马里奥兄弟》和《超级马里奥兄弟:失落的关卡》,由视频游戏关卡语料库提供。
具体原理如下图所示:
和GPT2一样,MarioGPT能够对下一个token序列进行预测。
其中的关卡被表示为字符串,它会经过一个字节对编码器 (Byte-Pair Encoding) 进行tokenize。
关卡是被按列进行分解的,并展平为单个向量 (或者是多个关卡组成一批向量) 。
为了将用户输入的信息进行合并,作者给MarioGPT安排了一个冻结文本编码器,它以预训练的双向LLM (BART) 形式出现。
与此同时,在这里输出模型前向传播的平均隐藏状态 (hidden state) 。
最后,将输出的状态用于GPT2架构的交叉注意力层,并与传递到模型中的实际关卡序列进行结合就可以了。
对于MarioGPT的效果,作者则表示 很惊讶 ,因为它最终生成的结果中,有88% 都是可以用来实际进行闯关的。怎么玩?
由于MarioGPT已经开源,大家也可以自己下载体验一把。
确保电脑安装了3.8+版本的python后,使用pip命令或者git一下:
"pip install mario-gpt" 或 "git clone git@github.com:shyamsn97/mario-gpt.git >python setup.py install"
生成关卡最少只需要下面这些代码:
作者在项目中也提供了更深入的教程。
要想自己上手试一试生成的关卡,可以:
(1)去Huggingface上的demo上玩。它甚至可以不用你输入文本,直接在每个元素上选择"多"或者"少"等选项生成任意关卡。
(2)通过代码控制:使用play和astar函数,前提是你电脑安装了Java 8+。
感兴趣的朋友快去试试吧 目前MarioGPT已经有超过500+人标星了。
论文地址:
https://arxiv.org/abs/2302.05981
项目地址:
https://github.com/shyamsn97/mario-gpt
HF试玩地址:
https://huggingface.co/spaces/multimodalart/mariogpt
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
完全离线的OCR图片转文字识别工具UmiOCR开源精选是我们分享GithubGitee等开源社区中优质项目的栏目,包括技术学习实用与各种有趣的内容。本期推荐的是一个开源的OCR图片转文字识别软件UmiOCR。特性免费本项目所有
真正有远见的父母,都舍得让孩子吃高级的苦听过这样一句话穷人吃得了生活的苦,但吃不了奋斗的苦相反的,富人吃得了奋斗的苦,却吃不了生活的苦。高级的苦和低级的苦,差别之大显而易见。让孩子吃哪种苦,看得出父母的眼界到底有多深。现
孩子有这几个痣,或是好福气的寓意,看看你家孩子有几个呢有的孩子一生下来身上就有胎记,有的孩子在成长的过程中,身上会长出几颗痣,有的痣可能随着孩子的成长而慢慢消失,而有的痣永远不会自己消失。其实痣的生长部位不同,也会有不同的讲究。痣的局
广州出发广西4天游,秋游罗城棉花天坑河池小三峡丹洲古城今天给大家分享一条广西动车4天旅游行程,秋游罗城棉花天坑河池小三峡丹洲水上古城沙田柚节龙胜温泉桂湖风光,走进黔桂边城,探寻隐世美景!河池小三峡壮乡第一幽谷河池小三峡,金城江的旅游明
线上云游古都!大同景区VR漫游让你身临其境720度美景尽在眼前虚拟景观也别有情趣近日不少市民通过大同市景区VR漫游平台在线上云游各景区景点并以丰富多彩的虚拟漫游体验让网友感受到大同厚重历史文化与优美人文景观大同市景区VR漫
陈圣来在女王住过的树顶酒店断想人的命运有的时候真的扑朔迷离,说不准哪一个瞬间突然改变了你的人生轨迹,就此你可能走上一条始料未及的路。蜜月中的伊丽莎白二世公主与菲利普亲王还沉浸在爱情的甜蜜与浪漫中,他们的蜜月旅行
广州市区最高峰,比白云山人少适合遛娃拍照赏秋,还有枫叶美景公车上我睡过了车站,一路上我望着霓虹的北京。我的理想把我丢在这个拥挤的人潮,车窗外已经是一片白雪茫茫。又一个四季在轮回,而我一无所获的坐在街头,只有理想在支撑着那些麻木的血肉。理想
颜值最高的5棵树,中国银杏树上榜了,游客不由感叹太美了世界上有不少美丽的风景,对于绝大部分人来说,这些风景都是可以带给人以美的感受的,或许这也是为何如此多的人愿意去各地甚至是国外游玩的重要原因,如果能够在有生之年尽可能地见识到各种美好
贵州六盘水山奇水美林茂谷幽行走在贵州西部的中国凉都六盘水的奇山秀水之间,如同步入人间仙境,森林高山峡谷湖泊温泉比比皆是,山奇水美林茂谷幽处处成景图说水城古镇新民晚报记者唐敏摄龙井温泉度假区六盘水市六枝特区落
中国唯一与佛同名的地方,充满惊喜的滇南小城,康养城市的天花板这是一座温暖而美好的城市。在这里,田园与森林道路与山峰湖水与烟火阳光与空气时间与空间,这里一切的一切,都充满着宁静祥安的气息。这是一个偷得浮生半日闲的好地方。来这里,你不用花心思做
云南明清建筑第一镇红河石屏古城云南的石屏古城和宝秀古镇,虽然没有丽江和大理古城那么出名,但仔细看看,真的让人很有惊艳之感。云南的建水地区其实是明中期以后兴起的,除了元代因军事原因设立的临安路,后期云南的汉传文化