前脚GPT4重磅发布,后脚微软就官宣正式把GPT4模型装进了Office套件,推出了全新的Copilot系统,再次引爆各界对AIGC概念场景化的讨论,当然〔憨笑〕也不可避免的再一次令打工人们瑟瑟发抖。。。 本期有料知识学院特邀AIGC领域创作者马丁,围绕微软发布Microsoft365Copilot,跟我们聊一聊: 1。Microsoft365Copilot分析(提供前置技术、商业信息,辅助你判断) 2。Microsoft365Copilot介绍(他上线了什么,逐个介绍) 强烈建议查看演示视频,文字真的太单薄了! https:news。microsoft。comreinventingproductivitymoreresources 分析 前置技术理解 其中多模态已经在GPT4发布中验证了,而工具互联就印证在Microsoft365Copilot中。 我这里简单介绍一下(已了解的跳过)。 多模态就是LLM具备对图像的理解能力,他能看懂图片了。例如下图,不仅仅是这是一张中国交易应用程序的屏幕截图,而是这是百度(美国)的股价,看起来他有点震荡,能与刚举行的发布会有关。 工具互联就是你可以让LLM去使用工具。例如他不擅长计算,那就别优化数学能力了,直接让它使用计算机。同理可以让他操作Excel、操作PPT、操作PS、操作智能家居等等。 这里面的关键是:1,计算机听懂了你的命令;2。他知道这个命令自己做不到,需要使用工具;3。他能够把你的命令转成工具的输入格式(API),并执行工具调用;4。他能够将调用结果展示给你(经过重新组织或直接展示)。 记住这两个关键技术点,他将是你理解Microsoft365Copilot的前置知识。 复现困难分析 首先,他们也用了很长时间打磨产品,短时间追上是不现实的 CHatGPT在22年11月30日发布。但是,根据OpenAI官方文档,具备多模态能力的GPT4他们在22年8月就实现了。 所以Microsoft365Copilot(包括Bing搜索、Edge浏览器)的开发周期理想化预估应该是从去年就开始,而非我们想象的11月30日。 其次,从技术角度来说,集中在三个方面 第一,基座LLM的通用能力。即GPT3,GPT3。5,GPT4这一路走过来的能力跃升,这是一切的核心,同时通过Grounding作上下文约束。 第二,定向场景的微调。我更愿意相信活跃在Microsoft365Copilot中PPT、Word、Excel、Terms等多个场景的LLM不是同一个,应该是做了不同场景的强化微调。这种微调一方面为了强化性的文本增强(在那个场景的文本能力更好),另一方面为了API转换的自然(我能更好地把用户命令转化为工具命令) 第三,工具化场景的打磨。这方面就是产品侧怎么将场景融合进LLM,交互、功能、流程怎么设计等等。 最后,要解决的是成本问题 工作这种高频场景,是不可能也无法接受Davanci量级的价格的(1元38000字),更不用说价格翻了几倍的GPT4。 在个人实践中,会有一些奇技淫巧,能够在遵循LLM规则的前提下节约成本,例如长文本分块检索LLM整合,例如字典转译节约token量,例如低配模型针对性微调等等。 微软如何克服这个问题,我还不清楚。目前而言,没有,也不可能有公开材料。 就像Bing的实施细节到目前都没有任何信息流出一样。搜索出10个网页,每个网页1000字,一共10000token,难道说每次搜索的成本都如此高吗? 他应该是采用一些技巧的,例如先多模块摘要,再整合,整合后再展开定向生成。但谁知道呢,全靠猜。 应用展示 Word 常规的:总结、改写、翻译、润色等 较有趣的是:可以指定改写的风格,例如随意、慎重等 例子: 根据〔文档〕和〔电子表格〕中的数据起草一份两页的项目提案。 使第三段更简洁。将文档的基调更改为更随意。 根据这个粗略的大纲创建一页草稿。 Excel 常规的:帮你写出公式 有趣的:理解数据相关性,提出假设引导,根据问题建议公式 例子: 按类型和渠道细分销售情况。插入表格。 预测〔变量变化〕的影响并生成图表以帮助可视化。 模拟〔variable〕增长率的变化将如何影响我的毛利率。 PPT 常规的:根据文档输出PPT 有趣的:不仅做PPT,还把演讲者自己看的注释也做出来,可以用命令改动PPT的样式、结构、动画 例子: 基于Word文档创建包含五张幻灯片的演示文稿,并包含相关的库存照片。 将此演示文稿合并为三张幻灯片的摘要。 将这三个项目符号重新格式化为三列,每列都有一张图片。 Outlook 常规的:邮件写作,自动回复,润色等可以归类到文本写作领域的 有趣的:总结观点,判断邮件重要性,确认未被回答的开放性问题 例子: 总结一下我上周外出时错过的电子邮件。标记任何重要的项目。 起草一份感谢他们的回复,并询问他们第二点和第三点的更多细节;缩短此草稿并使语气专业。 邀请大家参加下周四中午关于新产品发布的午餐和学习。提及提供午餐。 Terms(类似腾讯会议) 常规的:会议纪要生成,实时翻译, 有趣的:你可以不参加会议,就知道发生了什么,有什么问题被讨论,哪些问题没解决,哪些事情问题需要你解决,对讨论的问题做利弊分析 例子: 总结一下我在会议中错过了什么。到目前为止已经提出了哪些要点?我们在这个话题上有什么不同意见? 为〔正在讨论的主题〕创建一个利弊表。在做出决定之前,我们还应该考虑什么? 做出了哪些决定,建议采取哪些后续步骤? Demo:https:www。microsoft。comenusvideoplayerembedRW10z9k BusinessChat(有点类似钉钉) 常规:其实更多是把上面的所有东西用起来,串联在工作流中 有趣:总结某个群聊里的观点和未完成的讨论 例子: 总结有关昨晚发生的〔客户〕升级的聊天记录、电子邮件和文档。 〔项目〕的下一个里程碑是什么?是否发现了任何风险?帮我集思广益列出一些潜在的缓解措施。 以〔文件名A〕的风格写一份新的计划概述,其中包含来自〔文件名B〕的计划时间表,并将项目列表合并到来自〔人〕的电子邮件中。 MicrosoftViva(类似内网论坛,更偏知识沉淀学习那种) 常规:帮你写帖子、提问题 有趣:帮助你提升提问题的质量,在讨论进行中引入知识和专家(某个人进来) Demo:https:www。microsoft。comenusvideoplayerembedRW10h73 易有料简介 易有料yiyouliao。com企业级内容智能运营服务平台,基于强大的内容理解、推荐算法和大数据应用等能力,为多行业提供AI智能内容创作与生产、海量精选版权内容供给、数字资产管理与分发、智能展业营销的服务。2021年完成金沙江创投千万级美金A轮融资,目前于北京、上海、深圳、杭州、武汉设立分公司。 为金融行业提供成熟的内容模型、丰富的行业内容,利用行业标签库完善用户画像及行为数据,致力于内容价值挖掘,创造新的内容终端运营场景,推动企业内容数字化的发展,构建多触点、多场景精准的内容营销与用户运营解决方案。 现已服务客户包括平安集团、中国银联、招商银行、广发银行、交银银行、招商信诺、支付宝、华为、OPPO等200多家客户。 2021年,易有料与浙江大学计算机研究院已达成AI内容生态战略合作,共创的AI实验室近年来一直围绕AI内容生态领域的关键技术研发,今年,双方将聚焦AIGC领域共同探索,推动企业内容产业的数字化发展。