科技热门词汇科普(29)ChatGPT
1。概念:
ChatGPT是由OpenAI公司研发的一种可以对话交互的大型语言模型。
可用于:问答,机器翻译,代码生成,模仿人类叙事,创作定制诗歌,生成游戏剧本等。
GPT(GenerativePretrainedTransformer)
是一种基于互联网可用数据训练的文本生成深度学习模型。
也是一种简单的统计语言模型,即利用已有片段作为条件预测下一个时刻不同词语出现的概率分布。
2。原理:
ChatGPT模型的训练使用了RLHF(基于人类反馈的强化学习思想)
使用的是深度学习算法中的Transformer算法,在处理长文本时候,比各种神经网络算法有更好的并行性和更短的训练时间,并通过注意力机制学习序列之间的依赖关系。
一个语言模型强大的判断依据:
1)能否利用所有的历史上下文
2)训练语料库是否丰富。(自学习,所以不需要标注)
目前ChatGPT有参数1750亿个。ChatGPT背后的训练除了常规的万亿级别语料投喂之外,还依托了更为强大的算力,总算力消耗大约为3640PFdays,即每秒一千万亿次计算,总计运行3640天。
3。应用场景:主要分四大类:
1)独立工具
2)嵌入生产工具
3)融合服务应用
4)垂直领域赋能
具体来说,可以应用到如下场景:
1)专业的咨询服务
2)提供产品的文案撰写(包括营销语言和营销策略)
3)应用于教育教学
4)智能客服(数字虚拟人的客户互动)
5)学术论文助手
6)文章相似度检测
7)创意写作
4。国内外进展
国外:
2018年GPT1。0诞生。目前国内能访问到的是3。0和3。5的版本。4。0即将发布,能通过图灵机测试,堪比人脑。意味着人类在强人工智能领域打开了一条通路。OpenAI还推出了付费版ChatGPT,ChatGPTPlus服务。
ChatGPT至少有以下三个重要的突破:
1)可以理解较为复杂的语句内容,比如有多层语法嵌套的句子。
2)拥有一定联系上下文理解语境的能力,可以针对一个问题不断深入交流。
3)可以自动拒绝执行一些不合法指令。
OpenAI公司还开发了文本到图像的生成器:DALLE2。
ChatGPT推出不到2个月,月活用户数量就已超过1亿。
微软:目前ChatGPT的拥有者OpenAI公司以100亿美金将ChatGPT长期租给了微软。微软
已经在桌面应用bing搜索引擎加入了chatgpt的功能,目前邀请用户测试
谷歌:推出聊天机器人巴德bard(基于轻量级LaMDA模型对话应用的语言模型,1370亿个参数)。其兄弟公司Deepmind推出Sparrow
国内:整体上还是一个跟随者
l百度:3月即将推出文心一言(ENNIEBot)
l阿里:达摩院版chatgpt正在研发中,目前处于内测阶段
l华为:2020年开始在大模型开始有布局,2021年发布了鹏城盘古大模型,是业界首个千亿级生成和理解中文NLP大模型。
l京东:计划推出产业版ChatGPT,命名ChatJD
l360:计划推出类ChatGPT技术的demo版产品。
5。知名人士评价
马斯克惊呼强人工智能时代即将到来
比尔盖茨:ChatGPT将改变世界,ChatGPT的意义不亚于计算机或互联网的诞生。
6。存在问题和防范措施
因为chatGPT学习的是全网信息,所以会出现错误的,恶意的,攻击性的语言输出,从而不可控,从而会带来一些安全问题。
如何规避ChatGPT所带来的安全问题?
ChatGPT的运营机构需
对ChatGPT等类似模型进行培训,标记恶意的活动和恶意代码,避免其向恶意人员提供;
对ChatGPT设置难以绕过护栏,提升恶意人员利用其生成恶意内容、开展恶意活动的门槛。
罗马诺切尔西希望和芒特续约门将门迪可能今夏离开斯坦福桥直播吧3月20日讯在新一期的专栏中,名记罗马诺对切尔西多名球员的处境发表了自己的看法,这包括了门迪芒特以及奥巴梅扬等人。罗马诺写道对于切尔西这样一家俱乐部而言,他们和梅斯利耶这样的
申花泰山两强陷入赌球风波!中超联赛还能正常进行吗?中国足球历来存在着腐败问题,赌球是其中之一。赌球现象的泛滥不仅破坏了足球比赛的公正性和公平性,也败坏了足球运动的风气和形象。近日,中国足坛再次发生赌球事件,几位职业足球运动员和教练
阿布拉汗真的特别想代表中国队比赛,我会为此付出一切直播吧3月20日讯目前,国足亚运队已经抵达新西兰,备战3月23日26日与新西兰国奥队的热身赛。海港小将阿布拉汗有望第一次身披中国国字号球衣参加国际赛事。在接受体坛周报采访时,阿布拉
碎木桌踢棍子,日韩格斗家酷爱的击破训练真的有用吗头条创作挑战赛(点击阅读可看更多857体育赛事资讯)今天的主题是浅谈格斗中的碎木板踢木棍(击破)到底有什么用?1hr先说个高中军训时和木板击破有关的趣事。高中军训是集体拉到山区的军
热刺球员希望孔蒂被解雇安东尼奥孔蒂让托特纳姆热刺的球星们惊呆了,一些球员希望他现在被裁掉。这位愤怒的热刺主教练昨天回到意大利进行了短暂的休息,而在周六33战平南安普顿之后,他的惊人咆哮仍然让俱乐部感到震
36岁吴鹏复出后首次国内参赛,成绩达标游泳冠军赛吴鹏渴望在家门口参加杭州亚运会。资料图视觉中国新京报讯(记者周萧)全国春季游泳锦标赛3月20日继续在青岛进行,继尚未满18岁的新秀王浩宇前一天在男子100米自由泳游进48秒大关给外
15000人参赛!盐城马拉松4月16日开赛现代快报讯(记者王菲通讯员谷骢)3月20日,2023悦达起亚SK新能源盐城马拉松暨大运河马拉松系列赛(盐城站)举行赛前新闻发布会。现代快报记者了解到,此次赛事规模15000人,其中
NikeAirFoampositeOneMetallicRed細節賞析今年滿20歲的NikeAirFoampositeOne除了將元年的Royal以及同樣具有金屬光澤的Copper配色帶回市場之外,品牌持續釋出金屬鞋面系列款式,曾於2012年發表的N
以赛代练全力备战学青会来源南宁市人民政府部门动态网球选手在比赛中挥拍。记者韦峭摄3月18日,由南宁市网球协会广西飞象网球俱乐部主办的2023年南宁市网球团体公开赛在广西体育中心网球场举行,来自全国各地的
休闲置鞋隨著日照的氣溫昇高,即將正式迎接夏日的到來,日本元祖級的運動品牌OnitsukaTiger於近期內推出SummerPack,這個相當適合在本季使用的系列,使你在夏季時能更加輕爽的穿
IMBoutique春日灵感探索忽而春风,一年中最温柔的季节悄然到来,路边盛开的鲜花与堤坝上贩卖风筝的小贩都是春天的来信。与小布去春游,一起捕捉春日的温柔与浪漫。去街头捕捉春天气温渐暖城市中的大街小巷已在明媚的春