GPT大力出奇迹的LLM模型
周末一大早,睡眼惺忪的时候,就被学妹拉到了她的中科院校友会兴趣群里。 博士、科学家们创建了个GPT兴趣群,学妹知道我现在正在夜以继日的试图跟上AI的进化,顺手拉了我一把。
短短几分钟之内,这个群就满员了。
学妹说,这个群的建立速度,充分反映了人类的好奇心和恐惧。
我说我感兴趣的的是这个群很可能会孵化出很多项目甚至初创公司。
要知道,GPT-4之父OpenAI公司,恰好也是一家科学家组成的公司。
1、OpenAI的前生今世
很长一段时间,AI技术牢牢把持在谷歌、DeepMind(被谷歌收购)等巨头手里,尤其是DeepMind的阿尔法狗家喻户晓。
2015年12月,特斯拉汽车创始人埃隆·马斯克,格雷格·布罗克曼(OpenAI联合创始人兼总裁)、山姆·阿尔特曼(OpenAI首席执行官)、彼得泰尔(Paypal创始人)以及伊利亚·苏特斯科夫(师从神经网络之父杰弗里·辛顿,OpenAI首席科学家)等数位硅谷大佬拿出了10亿美元,在旧金山创立了OpenAI。
不久前,马斯克发推抱怨:我仍然很困惑,为什么一个我捐赠了1亿美元的非营利性机构,竟然变成了一个市值300亿美元的营利性机构?
我们先不谈OpenAI的"变质",如果不是微软不计成本的给它输血(资金、Azure云资源),我们恐怕看不到AI快速发展的今天。
2、什么是GPT
2017年,Google团队首次提出基于自注意力机制的Transformer模型,并将其应用于自然语言处理。
OpenAI应用了这项技术,2018年发布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的简称,中文翻译为生成型预训练变换模型)。
该模型用于问答、文本摘要生成、机器翻译、分类、代码生成和对话 AI。
GPT-1诞生于2018年,主要实现功能包括:自然语言推理,判断两个句子的关系(包含、矛盾、中立);问答与常识推理,输入文章及若干答案,输出答案的准确率;语义相似度识别,判断两个句子语义是否相关;分类,判断输入文本是指定的哪个类别。
GPT-1使用了几十亿文本档案的语言资料库进行训练,模型的参数量为1.17亿个。
2019年,GPT-2发布,模型参数量提高到15亿个。GPT-2和GPT-1在技术路线上没有本质的不同,只是增加了数据量。
2020年,GPT-3发布,参数量达到了创纪录的1750亿个,其训练参数是GPT-2的10倍以上,技术路线上则去掉了初代GPT的微调步骤,直接输入自然语言当作指示,给GPT训练读过文字和句子后可接续问题的能力,同时包含了更为广泛的主题。
OpenAI在GPT-3的预训练过程中喂入了超过570GB的文本资料。当GPT-3获得足够丰富的知识库时,其生成的结果也变得越来越精确。
2022年发布的ChatGPT,是在GPT-3基础上的GPT3.5版本。
如果说ChatGPT带来一抹惊艳的话,GPT-4就是对"传统"AI摧枯拉朽的打击。
从参数量来说,GPT-4高达100万亿个(据报道未证实,也有人推算没有那么大)。
GPT-4的一个关键升级就是多模态,也就是支持图像和文本输入,拥有强大的识图能力。甚至能看懂梗图,并能找到梗所在的点。
GPT的发展过程中,1、2都没有带来太多的影响力,被认为是各种AI路线中的一支。但随着GPT-3尤其是GPT-4的出现,人们惊讶的发现,原来这就是AI的未来。
即便是大量资源押注AI的谷歌,也没有料到GPT的成功。中国的AI企业也在相关领域进行研发。
乐观估计,中国相关企业在技术上落后的时间大概是2-3年,并没有非常大的代差。
3、关于LLM模型
人类和机器的交互,是从汇编语言开始的。这是经过训练的人类和机器都能读懂的语言,但由于门槛过高,开始衍生出各种编程语言。
从上古的C语言到现在流行的Python,编程语言越来越简单,但距离机器直接理解人类的语言,依然有一定的距离。
我们必须需要工程师来做这个"翻译"。
NLP(Natural Language Processing自然语言处理)研究的目标,就是让机器能够直接理解并能输出人类语言。
其中,GPT依赖的LLM(Large Language Model,大型语言模型)成为目前最佳的选择方案。
PS,我不认为LLM是唯一的最终路线,只是现阶段最合适的路线。
OpenAI的成功有一定的偶然性,如果不是微软在搜索领域本来就比较落后,所以敢于"搏命",ChatGPT这种模式,对搜自身的索引擎业务是致命打击(谁还去付广告费?)。
从GPT-1到GPT-4的迭代,并非是由于关键技术革命性的突破(也不是认为这个过程中技术的发展不重要),而是数据量的增加。
4、瓶颈
对于中国企业来说,方向既定的情况下,并不缺人才(全球顶级AI科学家30%以上是中国人或华裔),缺的是资金和算力。
资金并不是一件太难的事,有了OpenAI金玉在前,国内资本大佬也会舍得投入,但算力是个大问题。
美国限制了A100等高端显卡对中国的出口,虽然黄皮衣第一时间推出了阉割版给中国特供,但性能差异非常明显。
国产显卡还刚刚起步,景嘉微还没有向算力卡方向大规模发展,摩尔进程大概能接近英伟达5、6年前的水准,壁仞科技也拿出了不错的产品,但大概率在代工方面受制于人。
考虑到OpenAI几乎喂进去全人类的知识量,也不过烧掉十几万张显卡,算力的问题,其实同样可以"大力出奇迹",用相对低端的产品堆起来,这可能需要各大AI企业携手了。
有人认为中国的语境对AI的发展有严重束缚,殊不知在吃西瓜摘棉花都是敏感词的美国,语境限制并不差到哪儿去,从技术上来讲,这都是小事。
还有人认为显卡的缺失和中国长期禁游戏有关,虽然我个人也反对无差别的禁游戏,但问题是也没人用10万块(黑市20万+)的A100来打游戏啊!
5、应用
现在的GPT-4已经开放了文字输入输出功能,展示(暂未开放)了图像的识别和输出功能,可以想象的未来,语音、视频等真正多模态的输入输出,将成为各大AI企业创新研发的重点。
比如有人认为中文在互联网上占比太低,导致GPT-4里的中文内容缺乏。这个问题其实很好解决(事实上GPT-4也是这么办的),把中文翻译成英文后再输入LLM,输出再翻译回来。
那么在语音结合方面,科大讯飞就比较有优势,可以把语音转化成文字最终翻译成英文喂给AI;类似的,在视频结合方面,海康、商汤、旷视等企业就有很大的优势,把视频信息解读为文本信息再喂给AI。
回过头来再看当初的制裁,是不是豁然开朗了?
北京师大的硕士生可以去什么水平的大学教书呢?要是在十年前,北师大的硕士生还免强可以到一些二本三本高校任教,再不济也可以到高职高专任教。但是,近几年来,由于经济形势严峻,外企撤离,民企生存困难,国企大面积亏损,大学毕业生的就业
多吃茶油有什么好处?茶油,油茶籽油俗称,又名山茶油山茶籽油,普通油茶成熟种子中提取的纯天然高级食用植物油,色泽金黄或浅黄,品质纯净,澄清透明,气味清香,味道纯正。山茶油橄榄油椰子油棕榈油被称为四大木本
用十万元刷工行星级,多久能到七星呢?感谢邀请!很多人都喜欢刷工行的星级,星级高了办大额信用卡或者申请提额贷款什么都相对比较容易,刷星最快最方便的方法就是买工行步步为赢理财,10万直接买步步为赢1(产品代码WY1001
农村有一种叫刺蓟草,它有哪些功效和作用呢?农村有一种叫刺薊草,它有哪些功效和作用呢?说起刺薊草相信会有很多人不太知道它是什么,但要叫它小名刺菜或是七七菜止血菜,这在农村是无人不知无人不晓得。刺菜是农村最常见的一种野菜,在我
49岁的女性自己交社保,感觉交费高后悔了,该怎么办?49岁才交社保,就觉得交费高了?奔五的岁数,给你交社保的机会就偷着乐去吧。这年纪打工没处要,做生意没精力没体力,眼看到了更年期,身体健康逐渐被病魔盯上。这时再不自己交的社保以后谁管
柿子醋有什么功效?柿子醋的功效与作用有哪些?柿子醋具有促进消化增强食欲软化血管降血压降血脂调节人体pH值等功效与作用。柿子醋是由成熟的柿子经过自然发酵酿制而成的果醋。现代研究表明,柿子醋主要含有醋酸
LOL提莫重做后,Q技能致盲效果被改,霞被致盲后羽毛会怎么飞?关注残影游戏,看LOL最新资讯,今天咱们聊聊LOL提莫的重做提莫作为一名最吸引仇恨的英雄,一直都被玩家们针对,团战可以输,提莫必须死这句话用来表示提莫的境地是最合适的。不过话又说回
南瓜苗有哪些功效?哪些人不适合吃?南瓜苗有清火去热的功效,我叫大家做一道简单的南瓜苗汤1买新鲜的南瓜苗(不能是蔫的,蔫的拨不了皮),自己家种的更好。2把南瓜苗去皮,一定要拨干净不然影响口感,叶子嫩的也可以。瘦肉切好
HIV不断杀死T细胞,甲型H1N1流感是不断激活T细胞,这两种病是否可以以毒攻毒?答很可能。新冠疫情开始以来,普通感冒明显减少。由于医院许多科室关闭,住院的少了,整体死亡人数反而大幅度减少,听说各个火葬场门可雀罗。不光如此,再往前推,自从政府控制使用抗菌素,结果
省电视台有什么领导他们享受公务员待遇吗?2018年党政机构改革后,省级电视台和广播电台合并,重新组建省广播电视台,作为直属事业机构归口省委宣传部管理,级别正厅。也就是说,省广播电视台的台长和总编辑是正厅级领导职务,其班子
你的孩子干过什么奇葩的事?大概是2岁左右吧,有一次她拉粑粑到裤子里面了。她给她奶奶说她屁股流血了可能宝宝自己玩迷糊了,我婆婆也怕她真的流血了,结果去把宝宝小屁屁一摸。想想当时那场景,那个尴尬,因为现在的孩子