Meta加入AI军备竞赛发布开源大语言模型,号称优于ChatGPT
继微软、谷歌之后,脸书(Facebook)母公司Meta(Nasdaq:META)也加入AI军备竞赛。
当地时间2月24日,Meta官网公布了一款新的人工智能大型语言模型LLaMA,从参数规模来看,Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型,并用20种语言进行训练。
Meta首席执行官马克·扎克伯格表示,LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面有很大的前景。
怎么理解人工智能大型语言模型的参数?
据悉,AIGC(利用人工智能技术来生成内容)形成的学习能力在一定程度上取决于参数的规模。Open AI推出的ChatGPT是通过其AI大模型GPT-3的基础上通过指令微调后得到的,参数量达1750亿,谷歌推出的Bard使用的是轻量级LaMDA模型,相比标准版本,轻量化版本模型所需要的运算能力较小,能面向更多使用者开放,使其参与体验,有报道指出LaMDA模型参数量在1370亿。百度文心大模型参数量达到2600亿,阿里则表示,从过往实践来看,其具备支撑超万亿参数大模型研发的技术实力。
Meta此次推出的大模型实力如何呢?
Meta首席AI科学家杨立昆(Yann LeCun)表示,在一些基准测试中,LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT3,且能跑在单个GPU上;650亿参数的LLaMA模型能够和DeepMind 700亿参数的Chinchilla模型、谷歌5400亿参数的PaLM模型竞争。
法新社称,按照Meta的表述,LLaMA是一套"更小、性能更好"的模型,且不同于谷歌的LaMDA和OpenAI的GPT机密训练资料和演算,LLaMA是基于公开资料进行训练。
Meta在官网表示,在大型语言模型中,像LLaMA这样的小型基础模型是可取的,因为测试新方法、验证他人的工作和探索新用例所需的计算能力和资源要少得多。基础模型基于大量未标记的数据进行训练,这使得它们非常适合于各种任务的微调。与其他大型语言模型一样,LLaMA的工作原理是将一系列单词作为输入,并预测下一个单词以递归生成文本。
Meta称将致力于这种开源模型的研究,新模型会开源给整个AI研究社区使用,并授予大学、非政府组织和行业实验室访问权限。另外,Meta表示其还有更多研究需要做,以解决大型语言模型中的偏见、有害评论等风险。
Meta披露的2022年第四季度财报显示,该公司已连续第三个季度出现营收同比下滑,四季度营收312.54亿美元,同比下降4%。广告为Meta的支柱业务,为第四季度的总营收贡献超97%,报告期内,尽管广告展现量增长了23%,但单位广告价格下滑了22%。
截至美东时间2月24日,Meta股价跌0.96%报170.390美元/股,总市值4418亿美元。
曝OPPOFindX6一加Ace2等机型将采用国产屏,原生2160HzPWMIT之家1月31日消息,根据数码博主数码闲聊站的说法,接下来的一加Ace2OPPOFindX6等欧加集团新机将会采用一块类似的屏幕,尺寸为6。74英寸,采用MIPI4Lane接口天
2023年新型立式吹风机品仕乐使用感受提起手机,大家脑海中最先想到的就是各种形式的全面屏折叠屏这类智能机,再或者是家里老人用的功能机。说起自行车可能先想到山地这种类型,这些都是我们生活中最常见到的。而说起吹风机,多数人
新年图个好彩头盘点过年最吉祥的几款车!大年初四,继续我们的新年盘点系列。很多消费者买车除了要看产品力,名字也要吉祥好听,那么下面这几款车就非常适合在过年期间购入!吉利星瑞吉利星瑞说到吉祥,怎么能少了吉利!吉利品牌我们为
油性头发用什么洗发水最好?怎么吹头发更蓬松?油性头发用什么洗发水蕞好,小雨和大家好好分析一下一,选对洗发水先说结论洗发水一定要用能改善发质的洗发水。虽然细软油塌发很难改变,但是在可能的范围内做出改善还是可以的。像我的头发,以
花20多万元到三亚过年遭遇节约型父母,是什么体验最近,有网友分享了一段视频自己带父母去三亚过年,租的别墅5万元一个月,两个月累计花了20多万元。然而离开三亚回东北的过程,可谓一波三折父母太节约,做的花卷回锅蒸了16次,敲在锅盖上
新春走基层巧用坑塘种莲藕,增收致富劲头足2023年1月14日,山东省临清市魏湾镇李圈村的坑塘里,几位藕农正在辛勤地忙碌着。虽然腊月里天气寒冷,但藕农们干起活来仍然劲头十足。他们动作娴熟地在泥里刨坑挖掘,不一会儿,一根根莲
春节健康提示上班第一天,几招助你告别节后综合征今天是春节后的第一个工作日,一天工作下来,浑身都觉得不舒服!回到自己的工作岗位,是不是感到有点提不起精神焦虑困倦,甚至出现睡眠紊乱,精神萎靡代谢紊乱,消化不良,神经性厌食等现象?专
满江红大火,你可知道岳飞死于谁手?当下大片满江红大火,虽然电影只是借助了噱头,但仍然不影响大家对影片和这首词的兴趣。相信很多人应该也会背这首词。怒发冲冠,凭栏处潇潇雨歇。抬望眼仰天长啸,壮怀激烈。三十功名尘与土,八
幸福边寨入画来新春时节,隐现在崇山峻岭中的边境村寨,家家门前的大红灯笼和鲜艳的春联格外惹眼。广西百色靖西市岳圩镇汉邦村地处广西边境,距邻国仅4公里,全村302户1149人。以前,由于村党支部涣散
上海豫园灯会东方生活美学秀场在上海,到豫园灯会看看花灯轧轧闹猛(意为喜欢热闹),是每年元宵节市民游客必去的打卡项目。这个春节假期,豫园灯会频频登上微博抖音小红书等年轻人喜爱的社交平台,上海豫园灯会赢麻了202
小伙背包遗落安检,里面满是压岁钱1月31日11时30分许,株洲西站安检工作人员张祺意外发现在安检机传送带上一个黑色背包许久没人取走,出于职业警觉的她立马意识到,肯定是旅客过机安检时遗落了,她当即捡起背包便朝候车大