编辑：编辑部 【新智元导读】谷歌刚刚上线了一个炸弹级通才模型PaLME，足足有5620亿参数。它是一种多模态具身视觉语言模型，从引导机器人执行任务，到回答关于可观察世界的问题，全都能搞定。 大语言模型的飞速变异，让人类社会的走向越来越科幻了。点亮这棵科技树后，终结者的现实仿佛离我们越来越近。 前几天，微软刚宣布了一个实验框架，能用ChatGPT来控制机器人和无人机。 谷歌当然也不甘其后，在周一，来自谷歌和柏林工业大学的团队重磅推出了史上最大视觉语言模型PaLME。 论文地址：https：arxiv。orgabs2303。03378 作为一种多模态具身视觉语言模型（VLM），PaLME不仅可以理解图像，还能理解、生成语言，而且竟然还能将两者结合起来，处理复杂的机器人指令。 此外，通过PaLM540B语言模型与ViT22B视觉Transformer模型相结合，PaLME最终的参数量高达5620亿。 横跨机器人、视觉语言领域的通才模型 PaLME，全称PathwaysLanguageModelwithEmbodied，是一种具身视觉语言模型。 它的强大之处在于，能够利用视觉数据来增强其语言处理能力。 当我们训练出最大的视觉语言模型，并与机器人结合后，会发生什么？结果就是PaLME，一个5620亿参数、通用、具身的视觉语言通才横跨机器人、视觉和语言 据论文介绍，PaLME是一个仅有解码器的LLM，在给定前缀（prefix）或提示（prompt）下，能够以自回归方式生成文本补全。 其训练数据为包含视觉、连续状态估计和文本输入编码的多模式语句。 经过单个图像提示训练，PaLME不仅可以指导机器人完成各种复杂的任务，还可以生成描述图像的语言。 可以说，PaLME展示了前所未有的灵活性和适应性，代表着一次重大飞跃，特别是人机交互领域。 更重要的是，研究人员证明，通过在多个机器人和一般视觉语言的不同混合任务组合进行训练，可以带来从视觉语言转移到具身决策的几种方法，让机器人规划任务时能够有效地利用数据。 除此之外，PaLME尤为突出的一点在于，拥有强大的正迁移能力。 在不同领域训练的PaLME，包括互联网规模的一般视觉语言任务，与执行单一任务机器人模型相比，性能明显提高。 而在模型尺度上，研究人员则观察到了一个显著的优势。 语言模型越大，在视觉语言与机器人任务的训练中，保持的语言能力就越强。 从模型规模来看，5620亿参数的PaLME几乎保持了它所有的语言能力。 尽管只在单个图像进行训练，但PaLME在多模态思维链推理和多图像推理等任务中表现出突出的能力。 在OKVQA基准上，PaLME取得了新的SOTA。 测评结果 在测试中，研究人员展示了如何使用PaLME在两个不同实体上执行规划以及长跨度的任务。 值得注意的是，所有这些结果都是使用基于相同数据训练的相同模型获得的。 在以前，机器人通常需要人工的协助才能完成长跨度任务。但现在，PaLME通过自主学习就可以搞定了。 比如，从抽屉里拿出薯片这类指令中，就包括了多个计划步骤，以及来自机器人摄像头的视觉反馈。 经过端到端训练的PaLME，可以直接从像素开始对机器人进行规划。由于模型被集成到一个控制回路中，所以机器人在拿薯片的过程中，对途中的干扰都有鲁棒性。 人类：给我来点薯片。 机器人：1。走到抽屉旁2。打开最上面的抽屉3。从最上面的抽屉里拿起绿色的薯片4。放在柜台上。 同样，让机器人去拿一个苹果时，给出图片后，机器人执行任务步骤如下 人类：给我拿一个苹果。 机器人：1。走向苹果2。拿起苹果3。把它拿给操作员4。放下苹果5。完成。 除了执行长跨度任务，PaLME可以让机器人执行规划任务，比如排列积木。 研究人员根据视觉和语言输入成功地进行多阶段的计划，并结合了长时间范围的视觉反馈，进而让模型能够成功地规划一个长周期的任务将积木按颜色分类到不同的角落。 如下，在排列组合上，机器人化身为多面手，按颜色将积木排序。 模型的泛化方面，PaLME控制的机器人可以把红色积木移到咖啡杯的旁边。 值得一提的是，数据集只包含有咖啡杯的三个演示，但其中没有一个包括红色的积木块。 类似的，虽然模型此前从未见过乌龟，但照样可以顺利地把绿色积木推到乌龟旁边 在零样本推理方面，PaLME可以在给定图像的情况下讲述笑话，并展示了包括感知，基于视觉的对话和计划在内的能力。 多张图的关系，PaLME也整得很明白，比如图一（左）在图二（右）的哪个位置。 此外，PaLME还可以在给定带有手写数字的图像执行数学运算。 比如，如下手写餐馆的菜单图，2张披萨需要多少钱，PaLME就直接给算出来了。 以及一般的QA和标注等多种任务。 最后，研究结果还表明，冻结语言模型是通向完全保留其语言能力的通用具身多模态模型的可行之路。 但同时，研究人员还发现了一条解冻模型的替代路线，即扩大语言模型的规模可以显著减少灾难性遗忘。 参考资料： https：palme。github。io
外媒加拿大一炼油厂发生爆炸造成8人受伤道据法新社渥太华报道，加拿大纽芬兰岛一家炼油厂当地时间2日发生爆炸，造成8人受伤，其中一人伤势严重。报道称，当地宪兵队发言人若莱娜加兰下士表示，针对位于卡姆拜钱斯的这家炼油厂在当地悄无声息落尘埃（三）第一章具有特色食品店历昌团（3）十九世纪末二十世纪初，随着通商开放和租界的建立，众多的西方人涌入了上海。所带来的眼花缭乱不一样的生活，让上海人大开眼界瞠目结舌。当然，大多上海人对新空姐被轮流性侵，惨死浴缸监控曝光更恶心的，还在后面1hr都说美貌加上任何一张牌都是王炸，但单出要赢真的很难。虽然话不绝对，但确实有一定的道理。就像前段时间，菲律宾发生了一起令全国民众都愤怒的命案一名空姐在跨年夜疑遭11男集体x侵，勇气正气底气埃尔多安赢得尊敬时世造就英雄。推动俄乌和谈，使得土耳其的总统埃尔多安赢得世界声誉。勇气，敢于发表不同的意见。常与老美唱反调。俄乌开战后，美北约都制裁俄不遗余力，老埃却始终与俄保持友好关系。小泽为了针对否定毛主席历史功绩的逆流，黄克诚挺身而出毛主席的功绩是党内任何其他人都不能比拟的文王刚毛泽东与黄克诚自1925年相识，直至1976年毛泽东逝世。在这半个世纪的时间里，二人在革命的峥嵘岁月中有过生死考验，在和平的建设年代中有过分歧争执，毛泽东赏识黄克诚的才能和忠三大步上栏牛达，男，现年四十九岁。因为牛年生人，还肤色较黑。先人传下的姓还是个牛，更还是个男娃。他爹爹思量再三给其取名黑牛。过去人认为取名猪娃羊娃狗娃牛娃的娃好养，容易长大成人。黑牛确实好养俄乌冲突俄罗斯赚翻了？恐怕是美国赢麻了头条创作挑战赛俄乌冲突至今已经持续六个多月了，仍然没有任何结束的迹象，俄乌双方依然在战场上相持，战场上俄罗斯虽然没有风卷残云之势，西方国家的制裁也没有压倒俄罗斯，相反俄罗斯利用能源乌克兰冲突导致俄美核合作处于摇摇欲坠的境地俄罗斯和美国拥有世界上最大的核武库。在冷战期间，华盛顿和莫斯科仍然可以就避免核灾难的措施进行合作，但现在这种合作已经摇摇欲坠。去年美国总统乔拜登和俄罗斯总统弗拉基米尔普京会晤时，两俄罗斯警告美方勿向乌克兰提供远程武器俄罗斯副外长里亚布科夫2日在俄罗斯24电视频道的直播节目中说，俄罗斯警告美国不要采取挑衅性措施，包括向乌克兰提供射程更远和更具破坏性的武器系统。里亚布科夫说，美国对乌克兰局势的介入美军撤离阿富汗一周年，近八成阿富汗受访者称美国失信于全世界2021年8月，美军仓皇撤离阿富汗，喀布尔机场混乱的一幕幕画面震惊了全世界。美国在进行了20年漫长战争后甩手走人，给阿富汗留下了一个千疮百孔的烂摊子。一年过后，阿富汗人民如何看待美装傻十几年的吴昕才是真正的大佬，别在拿豆包不当干粮了从快乐大本营停播到现在已经过去了整整11个月。这些日子里，成员们都有了新的改变和新的事业。尤其是吴昕，她的改变是最大的，也是最惊艳的。从来都没有人想过，那个在何炅谢娜身边当透明人的