科企岛谷歌的这款新人工智能工具可能会改变我们在线搜索的方式
互联网搜索的未来是什么样的?谷歌设想它看起来更像是与朋友的随意交谈。
虽然Google的搜索引擎已经上线了二十多年,但为其提供动力的技术一直在不断发展。最近,该公司宣布了一种名为MUM的新人工智能系统,它代表多任务统一模型。MUM旨在在全球范围内了解人类语言的细微差别,这可以帮助用户更轻松地找到他们搜索的信息或允许他们提出更抽象的问题。
谷歌已经在一项独立任务中使用MUM来更多地了解人们引用COVID疫苗的不同方式,但表示这项新技术尚未成为他们搜索系统的一部分。虽然目前还没有确定该功能何时在实时搜索中推出的时间表,但该团队正在积极开发其他一次性任务以供MUM完成。
解决COVID疫苗名称游戏
今年早些时候,当疫苗问世时,谷歌搜索副总裁PanduNayak及其同事设计了一种体验,为人们提供有关COVID疫苗的信息从哪里获得、如何工作以及在哪里可以获得疫苗何时用户搜索它。该体验将所有这些重要且相关的信息拼凑在一起,并将其固定在搜索结果第一页的顶部。但首先,团队需要对其进行编程,以便仅在有关COVID疫苗的查询时才会弹出。这可能会成为一个问题,因为世界各地的人们可能以不同的方式和不同的名称提及COVID疫苗。
去年,该团队花了数百个小时梳理资源,以确定COVID本身的所有不同名称。但今年,他们有了MUM。我们能够使用MUM建立一个非常简单的实验,它能够在几秒钟内为50种不同语言的17种不同疫苗生成超过800个名称,Nayak说。我们有很多语言任务需要解决,无论是分类、排名、信息提取还是其他一大堆。在短期内,我们希望使用MUM来改进其中的每一个。并不是说它会带来新功能或新体验,而是现有功能和现有体验会更好地工作。在GoogleIO上与MUM见面
我们第一次听说MUM是在春季的GoogleIO开发者大会上,当时Google高级副总裁PrabhakarRaghavan揭开了它的面纱。
这项新技术是基于机器学习的搜索的自然演变,谷歌在过去十年中一直在改进和修改。谷歌吹嘘说,MUM能够获得对世界的深入了解,理解语言并生成语言,并同时训练75种语言。还有内部试点测试它是否可以是多模式的也就是说,能够同时理解不同形式的信息,如文本、图像和视频。
所有这些复杂性都可以通过会议上的一个简单示例和博客文章来说明。假设你问谷歌,我已经徒步亚当斯山,现在想在明年秋天徒步富士山,我应该做些什么不同的准备?这是大多数人今天不会费心输入的搜索查询类型,因为用户知道这通常不是您在线搜索信息的方式。
这是一个你会随便问朋友的问题,但今天的搜索引擎无法直接回答它,因为它是如此的对话和细微差别,Raghavan在IO上解释道。但理想情况下,MUM会了解您想要比较两座山峰,并且还了解准备可能包括针对地形的健身训练和针对秋季天气的远足装备等内容。它将能够剖析您的问题并将其分解为一组查询,了解您问题的各个方面,然后将其重新组合在一起。用户可以单击以了解有关与问题各个方面相关的搜索结果的更多信息,还可以获得解释原始查询如何回答的总体文本。
像这样的体验是MUM工程师的长期目标,而实现这一目标所需的时间尚不清楚。从中期来看,谷歌的工程师正在训练MUM识别文字和图像之间的关系,并且进展顺利。Nayak说,当他们要求MUM为他们输入的一段新文本生成图像时,就像西伯利亚哈士奇一样,它确实做得非常出色。搜索简史
自1998年成立以来,谷歌一直在不断地绘制网络地图,收集大量的内容并创建一个索引来组织所有信息。
您可以将Google搜索索引视为就像书后的索引一样工作。它会告诉您出现特定单词的所有页面。除了互联网,还有两个重要的区别。一是一本书可能有300到1,000页,与网络的数万亿页相比,这不算什么。第二个重要区别是,在书的背面有索引,您一次查找一个单词,而在网络上,您查找单词的组合。由于这种规模和这种组合爆炸,我们每天都会收到来自世界各地的数十亿个查询,Nayak说。这里值得注意的事实是,我们每天获得的15的搜索是我们以前从未见过的。查询流中有大量的新奇事物。
Nayak补充说,部分新颖性归因于拼错单词的新方式,部分原因在于世界在不断变化,人们要求新的(有时是非常具体的)事物。
为了将所有可能的网络信息减少到与您的查询真正相关的信息,谷歌使用一种算法将它认为最有用的页面排在顶部,使用新鲜度和位置等因素,以及不同页面的链接方式彼此。到目前为止,最重要的一类因素与语言理解有关,纳亚克说。语言理解确实是搜索的核心,因为您需要了解查询的含义,您需要了解文档的含义,以及这两者如何相互匹配。
当然,软件无法像我们那样真正理解语言,包括它所有的细微之处和细微差别。但是程序员可以开发各种策略来尝试近似我们如何理解语言。就在16年前,谷歌建立了同义词系统的第一个版本,它解释了不同的词在不同的上下文中具有不同的含义。因此,当您谈论笔记本电脑的亮度时,更改可能意味着调整。如果不了解这一点,由于单词选择的变化,许多相关页面将被排除在搜索结果之外。
然后,大约十年前,该公司创建了知识图谱。其背后的想法是,查询或文档中的单词不仅仅是字符流,如果指的是世界上的人、地点或事物,它也可能意味着某些东西。如果你不理解特定字符串的含义,那么你就没有完全理解这个词的含义,Nayak解释说。人、地点、事物、公司等实体被放入数据库中,知识图谱将它们之间的关系联系起来。它还汇编了有关名人或地标等实体的需要了解的快速事实的快速摘要。
例如,如果您搜索居里夫人,Google的知识图谱可以告诉您她的出生时间和地点、她与谁结婚、她的孩子是谁、她在哪里上的大学以及她以什么闻名。这是一种方便地展示信息的方式,而不仅仅是谷歌在搜索后显示的页面结果列表。机器学习升温
大约六年前,谷歌推出了他们的第一个基于机器学习的搜索版本。然后,基于深度学习社区围绕自然语言算法开展的大量研究,它继续对其进行改进,这些算法可以查看单词用于理解其含义的上下文并找出需要注意上下文的哪些部分。2019年,谷歌推出了用于搜索的BERT架构。它的训练算法实际上是一系列填空练习。你会使用一个常用短语,屏蔽掉随机单词,然后让网络预测这些单词是什么。它也被称为掩码语言模型。
对于你能在药房为某人买药之类的查询,搜索者之前会得到一个关于在药房取药的结果。BERT明白,它不仅是在为别人开处方,比如为朋友或家人开处方。我们能够得出一个更相关的结果,因为它发现了以前我们无法处理的问题中的一些微妙之处,Nayak说。
展望未来,MUM不仅能够理解像BERT这样的语言,还能够生成语言。相比之下,MUM比BERT大得多,功能也更多(谷歌说它的功能大约是BERT的1000倍)。MUM接受了Google提供的所有不同语言的公共网络语料库的高质量子集的培训。搜索团队会删除低质量内容、成人内容、露骨内容、仇恨言论,因此MUM学习的语言在某种意义上是好的(希望如此)。通过同时对所有语言进行培训,它能够将信息从具有大量数据的语言概括为具有较少数据的语言,这可以填补可用于培训的数据较少的空白。
但Nayak承认,像MUM这样的大型语言模型肯定存在团队正在积极努力解决的挑战。例如,一个是偏见问题。因为这是从网络语料库中训练出来的,所以人们担心它是否反映或加强了网络中存在的偏见,Nayak说。Nayak希望,它是在语料库的高质量子集上训练的,这一事实将消除一些最严重的偏见。谷歌继续使用搜索质量评估器和其他评估流程来检查他们的结果并寻找问题的模式。它并不能解决所有问题,但它是一种重要的缓解措施。
MUM建立在Google一直在尝试改进搜索的一系列创新功能的基础上。今天,当人们来搜索时,他们的脑海中并没有完整的查询。他们带着某种广泛的意图来搜索他们生活中发生的事情,纳亚克说。你必须抓住你的这种模糊需求,将其转换为一个或多个可以向Google发出的查询,了解问题的不同方面并将其组合在一起。