Meta的大语言AI模型意外泄露,掀起一系列ChatGPT替代品创新!
使用 Midjourney 创建
LLama效应:一次意外的泄漏如何引发了一系列令人印象深刻的ChatGPT的开源替代品
开源和基于API的分发之间的摩擦是生成式人工智能生态系统中最有趣的战斗之一。在文本到图像领域,Stable Diffusion的发布清楚地表明开源是基础模型可行的分发机制之一。然而,在大语言模型(LLM)领域,最重要的突破来自GPT-4、Claude和Cohere等模型,这些模型仅通过API提供。这些模型的开源替代品在遵循人类指令方面没有展现出同样水平的性能。然而,一个意外的研究突破和泄露版本正在改变这种情况。
几周前,Meta AI宣布了Llama,一个旨在推进该领域研究的LLM。Llama发布了不同的版本,包括7B、13B、33B和65B的参数,尽管比其他模型小,但在许多任务中能够与GPT-3的性能相匹配。Llama最初没有开源,但在其发布一周后,该模型在4chan上被泄露,引发了成千上万的下载。
在过去的几周里,本来可以被看作是一个不幸的事件,却成为LLM领域最有趣的创新来源之一。自从Llama被泄露后,我们看到了建立在它之上的LLM代理的爆炸性创新。仅举几个例子:斯坦福大学发布了Alpaca(https://crfm.stanford.edu/2023/03/13/alpaca.html),一个基于LLama 7B模型的指令跟随模型。来自加州大学伯克利分校、CMU、斯坦福大学和加州大学圣地亚哥分校的研究人员公开了Vicuna,这是一个微调的LLama版本,与GPT-4性能相匹配(https://vicuna.lmsys.org/)。伯克利人工智能研究所(BAIR)发布了Koala,一个使用互联网对话进行微调的LLama版本(https://bair.berkeley.edu/blog/2023/04/03/koala/)。Nebuly开源了ChatLLama,这是一个使用你自己的数据创建对话助理的框架(https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama)。FreedomGPT是一个基于Alpaca的开源对话代理,它是基于LLama的(https://freedomgpt.com/)。来自加州大学伯克利分校的Colossal-AI项目发布了ColossalChat,这是一个ChatGPT类型的模型,有一个基于LLama的完整RLHF管道(https://medium.com/@yangyou_berkeley/colossalchat-an-open-source-solution-for-cloning-chatgpt-with-a-complete-rlhf-pipeline-5edf08fb538b)。
在这个列表中,还有几个项目值得一提,我相信很快会有更多的项目发布。有一件事是肯定的:Llama的意外泄露可能变成了开源LLM领域最大的创新火花之一。
ML研究
OpenAI的安全性
OpenAI发表了一篇详细的博文,概述了用于确保其模型安全的一些原则。该文章强调了隐私、事实准确性和有害内容的预防等方面,这对基础模型的广泛采用至关重要(https://openai.com/blog/our-approach-to-ai-safety)。
BloombergGPT
彭博社发表了一篇论文,介绍了BloombergGPT,一个在金融数据中微调的500亿LLM。该模型以BLOOM为基础,在3630亿个token数据集上进行了微调(https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance/)。
任何细分市场
Meta AI发表了一篇论文,概述了Segment Anything Model(SAM),一个用于图像分割的大规模模型。该模型与Segment Anything 1-Billion mask dataset(SA-1B)一起开源,SA-1B是有史以来发布的最大的计算机视觉分割模型(https://ai.facebook.com/blog/segment-anything-foundation-model-image-segmentation/)。
Koala
伯克利人工智能研究中心(BAIR)发布了一篇论文,详细介绍了Koala,一个为学术研究微调的对话模型。该模型以Meta AI的Llama为基础,与ChatGPT的性能相匹配(https://bair.berkeley.edu/blog/2023/04/03/koala/)。
用于超参数优化的BayesOpt
谷歌研究院发表了一篇论文,将超参数优化建模为Bayesian优化问题。该论文提出了Hyper BayesOpt,一种超参数优化算法,在BayesOpt中不再需要量化高斯过程的模型参数(https://ai.googleblog.com/2023/04/pre-trained-gaussian-processes-for.html)。
很酷的人工智能技术发布
Vicuna
Vicuna是一个基于Meta AI Llama的开源聊天机器人,与ChatGPT的质量相匹配(https://vicuna.lmsys.org/)。
ColossalChat
Colossal-AI项目的团队开源了ColossalChat,这是ChatGPT的一个开源克隆版本,具有RLHF功能(https://medium.com/@yangyou_berkeley/colossalchat-an-open-source-solution-for-cloning-chatgpt-with-a-complete-rlhf-pipeline-5edf08fb538b)。
真实世界的ML
LinkedIn的生成性人工智能
Linkedin讨论了一些构建生成式人工智能应用的经验教训和最佳实践(https://engineering.linkedin.com/blog/2023/our-learnings-from-the-early-days-of-generative-ai)。
Lyft的建议
Lyft讨论了在他们的推荐系统中使用的ML模型和架构(https://eng.lyft.com/the-recommendation-system-at-lyft-67bc9dcc1793)。
AI Radar
AI传奇人物Andrew Ng和Yann LeCun录制了一个会议,表达了他们对AI暂停提案的反对意见。
Quantexa为其基于人工智能的金融欺诈预防平台融资1.29亿美元。
Adthos推出了其使用生成性人工智能创建音频广告的平台。
Meta公司讨论了他们使用生成性人工智能来创建广告的举措。
机器人公司Covariant又筹集了7500万美元。
人工智能搜索公司Glean将生成性人工智能功能纳入其搜索平台。
一些泄露的文件显示,OpenAI的竞争对手Anthropic打算在未来两年内筹集约50亿美元。
红砖蓝瓦中的文化大舞台探访北京网红打卡地石油共生大院学院路街道供图大院大所是一个具有浓厚时代特色的词汇,随着时代变迁它也在悄然发生变化。位于学院路街道的石油共生大院一经亮相便吸引了附近居民的关注,拥有党建空间文化空间亲子空间健康空间
清明时节吃什么?健康一身轻明天清明节,这一时节,生气旺盛阴气衰退,万物吐故纳新,还是一个养生的好时节。清明好养生,健康一身轻!向大家推荐清明节气适合多吃一些的好食材荠菜美食天下,,,荠菜的做法大全小程序清明
清明一年最好的养生时节!清明养生到位,一年不生病清明,是二十四节气中的第五个节气,同时也是中国传统节日,是祭祖和扫墓的日子。清明节刚好处于仲春与暮春之交,此时万物皆显,草木吐绿,清洁明净。到了清明,气温变暖,降雨增多,中医认为人
踏青游览尽享美丽春光央视网消息(新闻联播)清明时节,正是草木萌生花开烂漫的时节,人们走出家门尽享美丽春光,赞叹好生态,感受好生活。春和景明,满目新绿。在陕西镇安,这里是我国北方保存最完整的野生杜鹃林,
4月来大禅路看花山吧!北京门头沟最美乡村路好多人都知道门头沟妙峰山镇的大禅路,这条路连接大沟村和禅房村,全程7公里,由于翻越崇山峻岭,一路风景如画,被评为最美乡村路。2022年4月6日,人间最美4月天,春花烂漫之际,闲来无
清明时节,建议少吃3发物多吃5凉菜!保养身体少生病中国逢年过节,总少不了一些全国通用的时令食品,比如正月十五吃元宵端午节吃粽子中秋节吃月饼,哪怕是存在感比较低的重阳节也有重阳糕菊花酒。那么问题来了,清明节的标配食物是什么?清明节不
清补还得靠这2碗汤,清明时节赶紧喝清明,是农历二十四节气中的第五个,也是最重要的祭祀节日之一,标志着季春的开始。因其温风如酒,清香明洁而得清明之名也有说是农历三月之初风为巽,巽为绳直,故万物至此齐整清明。中医认为,
北京玉渊潭樱花烂漫春光美2022年4月6日,北京玉渊潭公园春光明媚,樱花烂漫,各方游客纷至沓来,欣赏大好春光和盛开的樱花美景。2022年4月6日,北京玉渊潭公园,游人在欣赏盛开的樱花。CICPHOTO刘宪
踏青季春光日暖,出游正当时!SPRING龙泉山上赏美景春天了,气温逐渐回暖,树木开始抽枝发芽,踏青自然是闲暇之余最好不过的选择。全家一起出游,一起呼吸新鲜空气,是多么美好的事情阳光微风青草地一群志同道合的伙伴
柳鑫宇王诗玥与威震天合影,游客狂呼太甜太帅了,真想浅嗑一下柳鑫宇和王诗玥是我国著名的花样滑冰冰上舞蹈运动员。两人年龄相仿,王诗玥大了半岁。从2005年起,两人开始搭档,组成花样滑冰冰上舞蹈双人滑,合作已经十六七年了。两人一起获得了2020
清明节假期,昌平区共接待游客24。97万人次记者从昌平区文化旅游局了解到,清明节假期三天,全区35家重点旅游监测单位累计接待游客24。97万人次,实现旅游收入2985。1万元,同比2021年增长32。23。数据显示,景区累计