GPT4全网首个测评来了！逻辑性创造性，你想知道的我们都测了

　　3月15日凌晨1点，OpenAI宣布推出GPT4，在功能和一致性方面取得了前所未有的成果。（官网链接：https：openai。comproductgpt4）
　　【公众号后台回复GPT4可获取OpenAI的英文原版报告论文与中文翻译稿】
　　除了GPT4，OpenAI还发布了其开源软件框架Evals一个可以对AI模型进行众包测试的软件框架，可以用来开发和运行评估GPT4等模型，同时检查其性能。使用Evals，开发人员可以使用数据集生成提示，测量OpenAI模型的生成质量，并比较不同数据集和模型的性能。
　　图为OpenAI在推特Twitter上的发帖
　　01hrGPT4发布总结
　　当人们还在震惊于ChatGPT对它老前辈AI们的革命性时，OpenAI已经用GPT4革了自己的命，令许多人感慨：自然语言处理从业者要转行了、机器视觉不存在了。
　　多模态能力文本图像
　　文本处理上，GPT4支持的输入文字上限升至2。5万字。在测试的26种语言中的24种中，GPT4优于GPT3。5和其他大型语言模型的英语表现，甚至囊括了拉脱维亚语、威尔士语、斯瓦希里语等资源匮乏的语言。
　　图为GPT4的语言精准性（图中Mandarin即为中文普通话）
　　图像处理上，GPT4支持用户上传图像，并能描述内容、指出图片不合理之处，并进行解释，能满足分析图表、解释梗图漫画、拍照解题等实用功能。
　　图为开发者演示视频中，测试者在白纸上画下网站草稿图，上传给GPT4，就可以获得网站的HTML代码。
　　测试者正在展示草稿
　　GPT4生成网站的HTML代码
　　可操纵性与创造性：用户体验更自由
　　在官方演示里，GPT4可以扮演苏格拉底般的导师，不直接给出答案，而是通过问题拆分来引导学生独立思考，也可以是莎士比亚式的海盗，测试中，GPT4很忠于自己的个性，它甚至可以扮演直白、乖巧的AI助手。
　　为敏感、安全而努力
　　在ChatGPT发布后，关于如何让人类灭绝等问题的回答一度令人惊诧，对于一些敏感、禁止内容，在GPT4上有了更好的处理方式。GPT4在面对禁止内容的请求时，响应倾向比原先降低了82，而GPT4在响应敏感请求时，如医疗建议和自我伤害，其符合政策的概率提高了29。尽管这难以完全规避各种不良的敏感、禁止请求，但监控机制确实比前代更加完善了。
　　自我训练与预测能力提升
　　GPT4更新的一大重点是建立了一个可预测扩展的深度学习栈。主要原因是，GPT4在抵达用户面前，已经接受了大型训练，而训练量过大导致它无法进行广泛的特定模型调整。然而，基础模型的回答可能与用户的期待南辕北辙。为了尽可能保持一致，OpenAI依然使用强化学习人类反馈（RLHF）来微调模型的行为。OpenAI团队开发了基础与优化设施，支持在不同规模下预测行为。
　　以上种种能力优化，促使GPT4在模拟律师考试取得了前10的成绩（它前辈GPT3。5的成绩是倒数10，做美国高考SAT试题，GPT4也在阅读写作中拿下710分高分、数学700分（满分800），获得了英伟达AI科学家JimFan可以考进托福的高度评价。
　　但遗憾的是，在发布GPT4时的论文中，OpenAI写道：考虑到GPT4等大模型的竞争环境和安全影响，本报告没有包含关于架构（包括模型大小）、硬件、训练计算、数据集构建、训练方法或类似内容的更多细节。这也引发了人们对openAI是否愈加封闭的猜测。
　　02hr使用测评
　　到目前为止，这项新技术不是免费的。OpenAI表示，人们可以在其订阅服务ChatGPTPlus上试用GPT4，每月20美元，人们可以直接从原来的ChatGPT入口尝试使用GPT4，但由于担心滥用，目前只支持文本功能，暂时无法上传图像，且每4小时内最多处理100条消息。
　　GPT4的数据时间也停留在2021年9月，也就是说，在那之后的事，它可能无法回答。当你想问它，2023年3月15日发生了什么？它会告诉你，它无法预测未来，并且这超出它的知识范围。
　　开通plus功能后，用户可以选择三种模型，OpenAI给出了不同模型的区别。
　　可以看到，GPT4生成速度比较慢，但推理能力拉满，简明性最强，更有创造性。
　　基于GPT3。5的ChatGPT常常爆雷出错，但GPT4提供的信息会更加准确。
　　对GPT3。5和GPT4提同样的问题，但答案显然不同：
　　例如：让GPT3。5和GPT4列举泰山名人
　　ChatGPT4：
　　ChatGPT3。5：
　　注意，如果你同时使用多个模型进行提问，需要排队等待。
　　为了观察它的创造性，我们让GPT4与GPT3。5同时以春分将至撰写中文歌词，可以看出，GPT4确实更有文采一些，并贴心地区分了verse（主歌）和chorus（副歌）部分。
　　图为GPT3。5（绿色头像）与GPT4（黑色头像）的歌词生成对比
　　03hrGPT的下一站在哪儿
　　关于GPT4的下一次革命会往哪去众说纷纭。但GPT4自己的回答是：
　　更大的模型容量；
　　更准确的预测；
　　更广泛的知识覆盖；
　　更多语言支持；
　　更好的创造性；
　　更好的可解释性和透明度以及结构化数据和知识图谱。
　　图为GPT4对自己优化方向的预测
　　OpenAI自己认为GPT4仍然有误差，并有一定的风险。其工作人员在推特上发帖称：GPT4和GPT3。5之间的差异可能不会像普通用户所宣传的那样夸大。
　　AI竞争逐渐白热化。谷歌宣布了自己的文本生成模型PaLM的API和新的开发工具，该模型的功能与OpenAI的GPT类似。谷歌也在进一步测试旗下的Bard聊天机器人，以与ChatGPT竞争，并表示将使用底层技术来改进搜索。
　　同时，GPT4已被集成在多邻国、Notion等应用中，用户们将很快就能体验到最新版的GPT4。AI对日常生活、工作、生成的渗透越发可见，我们期待看见未来有更多革命性进展，那会为人类想象力的发挥提供更广阔的空间。
　　作者：永光排版：骆伟玲
　　图片源于Q仔互联网冲浪所得，若有侵权，后台联系，Q仔滑跪删除