AI教父GeoffreyHintonAI模型GPT3远不如人

　　自从上个世纪八十年代起，AI教父杰弗里辛顿（GeoffreyHinton）就一直在从事有关深度学习的研究。然而，研究成果却受到缺乏数据以及计算机功能不足的限制。不过，他对这项技术的执着态度最终还是给人类带来了巨大的益处。在第四届ImageNet大赛上，几乎每支团队都用上了深度学习技术，并且达到了惊人的准确率。不久之后，深度学习不仅在图像识别任务中得到了应用，还被广泛地应用于其它领域。
　　30年前，人们都觉得提出的神经网络的想法是离经叛道。但辛顿表示，现在几乎所有人都认同了他的想法。
　　对于人工智能领域短板的看法，辛顿说：很多概念性的突破必将接踵而至，但我们同样也需要进行大规模且有成效的性能提升。
　　对于神经网络不足之处的看法，辛顿说：含有大量突触的神经网络非常善于处理数据量较小的任务，但是人类自己在这方面更胜一筹。
　　对于人类大脑工作方式的看法，辛顿说：人的大脑内遍布神经活动的重要载体。
　　现代人工智能革命起源于一场不起眼的研究竞赛。在2012年的第三届ImageNet大赛上，参赛团队要设计出一种能够识别1000种事物的计算机视觉系统，这些事物包括动物、自然景观以及人类等。
　　在最初的两届比赛中，最优秀团队的准确率也达不到75。但在第三年，一名教授和他的两个学生却在短时间内突破了技术的天花板。他们以令人震惊的10。8个百分点优势赢得了比赛。这名教授就是杰弗里辛顿，而他们所使用的技术被称作深度学习。
　　在2019年，鉴于辛顿对人工智能领域的开创性贡献，他与扬勒丘恩、约书亚本吉奥等人工智能先驱一道被授予图灵奖。2020年10月20日，媒体与辛顿在科技峰会上，就人工智能领域的现状以及未来的发展方向进行了交流。
　　媒体：您为何如此确信深度学习将会复制人类的智慧？
　　GeoffreyHinton：我确实相信深度学习能做任何事，但目前还需要取得一些概念性突破才能实现这一点。例如，2017年阿施施瓦斯瓦尼等人的论文介绍了一种转换器，它可以很好地表达词语的意思。这就是一种概念性突破。现在，几乎所有功能较为强大的自然语言处理系统都在使用这种技术。我们需要更多像这样的突破性技术。
　　媒体：如果我们取得了这样的技术突破，那么深度学习会接近于人类的智能吗？
　　GeoffreyHinton：是的。当神经活动的重要载体可以进行像推理这样的行为时，意味着我们已经取得了非常重要的突破。但在规模上，我们仍然需要获得巨大的提升。人脑约有100万亿个参数，或者说神经突触。而现在像GPT3这样的可以被称作大型模型的程序，只有1750亿个神经突触。人脑神经突触的数量是它的上千倍。目前，GPT3可以生成看起来十分合理的话语。但与人脑相比，其生成量依然微不足道。
　　媒体：当您谈到规模这个概念时，您指的是更庞大的神经网络，还是更多的数据，又或者是两者兼具？
　　GeoffreyHinton：两者都有。计算机科学和人类行为之间存在着某种差异。相比他们所接收到的数据量而言，人类拥有大量的神经突触，而含有大量神经突触的神经网络却更善于处理数据量较小的任务。不过，在这一方面，人类更胜一筹。
　　媒体：人工智能领域的许多专家都认为，具备常识是下一个需要解决的问题。您同意这种观点吗？
　　GeoffreyHinton：我同意他们的观点，这是一项非常重要的问题。我还认为电机控制是一个非常重要的领域，而现在深度神经网络在这一方面能做的非常好。尤其在谷歌最近的研究中，你可以将精准的电机控制与语言结合起来，这样就能完成打开抽屉并从中取出一个积木的动作，而且系统还会用自然语言告诉你它正在做什么。
　　对于GPT3这样的可以生成接近完美人类语句的模型来说，想要生成语句就必须先理解大量语句的含义，但是它到底能理解多少，我们并不是十分清楚。也许AI完全不需要去理解语言。然而，如果某个东西打开了抽屉并取出了一个积木，同时还说道，我刚刚打开了一个抽屉，取出了一个积木，那么它很有可能明白自己在干什么。
　　媒体：人工智能领域一直将人脑当作其最大的灵感来源，而且人工智能技术的不同方法也源于认知科学中的不同理论。您认为人脑构建出外部世界的表现，是为了去理解它，还是这只是一种去思考它的有用方法？
　　GeoffreyHinton：在很久之前，认知科学领域里的两个思想学派之间发生了一场辩论。其中一派以斯蒂芬科斯林为代表，认为当人类在脑中操纵视觉图像时，会得到一组可以任意移动的像素阵列。而另一派的思想则更加接近于传统的人工智能方向。他们认为，不不不，这纯属胡说八道。它应该是一种具有层次性和结构性的描述。人的意识中会形成一个符号性的结构，而它才是被意识所操控的东西。
　　我认为他们都犯了相同的错误。科斯林认为，由于外部图像是由像素构成的，而它们反应了我们所理解的内容，所以我们就可以操纵这些像素。而符号表征派学者认为，因为我们同样可以用符号表征的方法来表现我们所理解的事物，所以我们就可以操纵这些符号。但他们其实都犯了一样的错误。人的大脑内其实充满了神经活动的重要载体。
　　媒体：许多人依然认为符号性表征是人工智能技术所采用的方法之一。对此您怎么看？
　　GeoffreyHinton：你说的没错。我的好朋友赫克托莱维斯克就认为符号性方法在人工智能领域发挥了重要作用。我虽然并不认同他的看法，但非常合理的符号性方法确实值得一试。然而，我的最终猜想是，我们会认识存在于外部世界中的符号，而且还会使用重要载体进行内部的运算。
　　媒体：对于未来人工智能的发展，您认为您最与众不同的观点是什么？
　　GeoffreyHinton：我想我的叛逆观点将会在五年之后成为主流观点。我在八十年代所提出的大多数离经叛道的想法现在已经被大家接受了，而且很难找到不认同这些想法的人。所以说，现在我觉得我那些观点已经没那么与众不同了