CNN之父从未有国家像中国，让深度学习成为国家级优先项目

　　＂上海恐怕是世界上唯一会有人在街头拦住我并索要我的签名的城市，在美国只有电影明星才有这种待遇，科学家是没那么多人追捧的。这种热情令人难以置信。＂
　　近日，谈及中国粉丝对于自己的喜爱，杨立昆（Yann LeCun）在接受 DeepTech 采访时表示。
　　图 | 杨立昆接受 DeepTech 专访（来源：DeepTech）
　　最早在 2009 年，杨立昆曾应邀前往北京大学进行演讲。随后十多年间，他曾多次造访北京、上海等城市，热情的学生纷纷与他合影并索要签名。
　　近年来，中国学者开始在人工智能（AI）领域崭露头角，各大计算机顶会上都能见到国内作者发表的高质量学术论文。杨立昆也注意到了这一点，并给予高度评价。
　　他认为世界上还没有一个地方像中国那样，让机器深度学习成为国家级优先项目，并成为公众瞩目的焦点。更重要的是，中国年轻人对科学和工程的浓厚兴趣，让他印象深刻。自幼喜欢科技，长大后与辛顿 ＂双剑合璧＂
　　在计算机从业者群体中，杨立昆这个名字几乎人人皆知。作为 2018 年的图灵奖得主之一，他与杰弗里・辛顿（Geoffrey Hinton）、约书亚・本吉奥（Yoshua Bengio）一起被誉为 ＂深度学习三巨头＂。
　　当今，许多 AI 应用都离不开 ＂三巨头＂ 构建的深度学习理论基础和指导框架。而杨立昆的主要贡献是大幅完善了卷积神经网络（CNN），并将其用于计算机视觉领域，极大地拓宽了应用范围。
　　近年来，神经网络红极一时。但在 20 多年前，计算机学界和产业界都对它完全提不起兴趣，甚至是嗤之以鼻。
　　在长达快 15 年的神经网络 ＂寒冬＂ 里，学术会议多次拒收神经网络论文，也没人愿意公开支持、甚至不愿公开谈论有关神经网络的话题，这让卷积网络一度成为大家口中的笑话。
　　至于具体原因，杨立昆自己也说不清楚，他说：＂这是一个谜，我认为科学史学家和社会学家有责任解开这个谜团。＂
　　图 | ＂深度学习三巨头＂：杨立昆，辛顿和本吉奥（来源：Facebook、Google、Botler AI）
　　从自己做研究、到成为 ＂技术布道家＂，杨立昆虽是中年成名，但其根源可追溯到童年。
　　1960 年，杨立昆出生在法国巴黎附近的郊区，父亲是一名航空工程师，酷爱 DIY 遥控汽车和遥控飞机等电子产品，同时他父母也都是科幻小说迷。这让他在童年时就对科技、太空和计算机充满了好奇和热情。
　　18 岁，他进入巴黎高等电子与电工技术工程师学院（ESIEE）。大学五年，没有课的时候他就泡在图书馆里，从人类的语言机制，到大脑的工作原理，再到系统理论（控制理论）、自组织、自动化等一系列晦涩深奥的内容，他都悉数吸收。
　　当时，＂人工智能＂＂机器学习＂ 和 ＂神经网络＂ 这些概念都已出现。他认定，如果想让计算机变得更聪明，模拟人类大脑运作方式的神经网络将是可行的方向。
　　1982 年前后，大四的杨立昆构想出一种可在网络中实现从后向前传递信号的算法，并将其命名为 HLM 算法（多层线性模型），今天广泛使用的 ＂梯度反向传播算法＂ 就是在 HLM 基础上发展而来。
　　不过彼时 ＂神经网络＂ 研究在法国几乎处于停滞，这让杨立昆颇为苦恼。机缘巧合之下，他在一场国际会议上见到了杰弗里・辛顿（Geoffrey Hinton），两人很快意识到，尽管他们此前从未谋面，但却有着相同的兴趣和研究思路。
　　＂双剑＂ 很快 ＂合璧＂，博士毕业的杨立昆受辛顿之邀前往加拿大多伦多，共同研究神经网络和反向传播。同一时期，在加拿大蒙特利尔，杨立昆认识了当时还在读研的约书亚・本吉奥（Yoshua Bengio），后者对神经网络的了解让杨立昆十分佩服，日后的 ＂三巨头＂ 终于相互见面。
　　图 | 1990 年，杨立昆在 AT&T 贝尔实验室发表的用神经网络识别手写字符的论文（来源：资料图）
　　从 1985 到 1995 年，神经网络经历了相对繁荣的十年。对于杨立昆来说，他的科研生涯也在美国贝尔实验室迎来了小高潮：入职仅两个月就开发出拥有 6.4 万个连接的 LeNet 卷积神经网络，主要用于识别手写字符。
　　最终，LeNet 的升级版 LeNet5 拥有 34 万个连接，被部署到一个银行支票数字读取系统中，应用于美国和法国的许多自动取款机中。
　　这是卷积网络的首次商业应用，直到 20 世纪 90 年代末，美国所有支票的 10%-20% 都是由它处理的。
　　可惜高光时刻未能延续太久，随着贝尔实验室隶属的 AT&T 公司拆分，混乱的管理和权力分划让人无暇顾及这个渺小的、不能赚大钱的系统。中年被裁，经历十五年的 ＂神经网络寒冬＂
　　随后，＂神经网络寒冬＂ 降临，从 1995 年开始，持续了近 15 年。
　　＂有五年多的时间，我们几乎没有再涉足机器学习的研究，只是发表了几篇整理性质的论文，＂ 杨立昆回忆称，＂于我而言，这些论文就像是天鹅临死前的最后哀鸣。＂
　　当时，他先是被 AT&T 裁掉，之后在日本 NEC 公司的普林斯顿研究中心也承受着研究快速落地和变现的压力，并不能潜下心来做科研。
　　于是在 2003 年，他决定应聘纽约大学的教授职位，这样至少可以安稳地做研究。
　　由于业界对神经网络不够重视，从 2004 到 2006 年，杨立昆、辛顿和本吉奥的论文几乎被所有机器学习领域的重要会议拒收，比如 NIPS 和 ICML，而 CVPR 和 ICCV 这样的偏应用领域的大会也不太欢迎神经网络。
　　＂寒冬＂ 中三人抱团取暖，他们还借鉴 ＂深层政府（deep state）＂ 这样的阴谋论，自嘲为 ＂深度学习阴谋＂ 小组。
　　熟悉杨立昆的人都知道，他是个性非常鲜明，说话直言不讳的人，对自己的想法坚信不疑。此前，他在推特上与各路网友争论并连发数十条推文，甚至一度表示要 ＂彻底告别推特＂。
　　这种特立独行的性格孕育他逆行的勇气，使他在无人看好神经网络的年代里，仍然全身心投入其中。
　　图 | 2005 年，杨立昆等人将神经网络技术用于无人车避障（来源：资料图）
　　2006 年，有关深度学习、神经网络等概念的论文逐渐被机器学习大型会议接受，虽仍有不小阻力，但至少不再像以前那么排斥。这离不开他们仨多年来的奔走疾呼，以及默默耕耘出来的研究成果。
　　自 2003 到 2013 年的十年间，杨立昆一直在纽约大学实验室里默默地扩展卷积网络的应用范围。
　　物体识别、面部检测、人脸识别、机器车的主动避障和自动驾驶、生物和自然物体图像的语义分割，这些即便在今天都很 ＂新鲜＂ 的技术，其实早在 10-20 年前就已被他挨个实现。
　　2013 年前后，随着计算机硬件的进步（尤其是业界对 GPU 的应用）、以及数据量的爆炸式增加，杨立昆等人终于迎来春天。
　　后面的故事我们都知道了，由神经网络驱动的模型开始横扫各种比赛，以超出传统方法数倍、甚至数十倍的表现成为了计算机科学界的 ＂新宠＂。＂我想人们更了解 AI＂
　　2019 年底，杨立昆将自己的科研生涯、人工智能技术的底层原理、以及自己对人工智能现状和未来的思考著成法语版《科学之路：人，机器与未来》一书。如今，中文版先于英文版问世。
　　图 | 杨立昆的书（来源：中信出版集团）
　　＂我想让人们更加了解深度学习和人工智能是什么，而且毫不掩饰其中的复杂性，＂ 杨立昆解释自己著书的初衷，＂人工智能已经在影响人们的生活，在未来可能会带来更大的影响，因此人们需要了解它是如何工作的。这本书兼具自传和科普属性，可以让喜欢叙事与喜欢科学逻辑推理的人同时享受深入机器的科学之旅。＂
　　从最基础的学习机和感知器，到监督式学习，再到深度网络和和卷积神经网络，最后到无监督学习，这几乎是数十年来最引人注目的机器学习技术的进化过程，包括反向传播、CNN、ResNet、GAN 在内的一系列经典算法和模型悉数出现。
　　乍看之下，这些内容背后充满数学模型和函数运算，令人望而生畏。但通过简单易懂的案例，带有注释的伪代码，以及环环相扣的推导，杨立昆希望让不同背景的读者都能明白人工智能的实现过程。
　　在许多理论和术语第一次出现时，杨立昆就给出了通俗的解释，连一元一次方程都有解释，细致程度堪比教科书。他告诉 DeepTech：＂我的目标是，如果你有高中数学水平，那么理解书中的数学概念就不在话下。即使跳过数学，也不影响对内容的理解。＂
　　例如在理解自动驾驶的原理时，即使 ＂向量＂＂梯度＂＂维度＂ 之类的概念看得似懂非懂，也可以借助 ＂车辆压到左侧白线，因此要向右调整＂ 等通俗直白的解释搞清楚原理。
　　当然，现实情况比理论复杂的多，瞬息万变的路况、各国不同的交通法规、以及不守交规的情况都会打破人工智能模型所熟悉的 ＂完美的世界＂。因此，只有了解技术背后的原理，才能知道它的极限所在。
　　（来源：Pixabay）
　　过去五年，许多人对自动驾驶和无人驾驶的普及充满了乐观，按照一些媒体和企业 2015 年的预测，2020 年就应该有数千台无人驾驶汽车（L4 以上）行驶在路上，但现实并非如此，连 L2、L3 级别的辅助驾驶都时常出现问题。
　　其实，自动驾驶本质上是一个 AI 完备问题，不能单靠计算机技术来解决，而是必须有人类介入。
　　＂AI 需要人类的常识（common sense）才能解决这类问题，＂ 杨立昆表示，＂知道了这一点，才能明白为什么无人驾驶不会普及得那么快。＂
　　他还表示：＂我认为如果你想在 AI 领域创造价值，计算机知识固然重要，但量子力学、运筹学和信息学的知识更加重要，尤其是它们背后的数学。＂杨立昆：自我监督学习模型是目前最有前景的 AI
　　对于大多数人而言，最好奇的问题可能是人工智能的未来是什么样子？何时才能实现？
　　杨立昆告诉 DeepTech：＂我们希望 AI 具备接近人类的智能，那么它就需要具备常识，才能让所有期待成为可能。＂
　　所谓常识，就是人类在与物理世界交互的过程中自然而然形成的观念和认知。比如两个月左右的婴儿就已经知道物体之间可以相互遮挡，被挡住的物体仍然存在，而非凭空消失；九个月大的婴儿，就已经知晓了重力和惯性等物理概念的存在。
　　如果有违背普遍规律的事情出现，不会说话的婴儿会睁大眼睛，做出一副不可思议的表情。
　　人类大脑的这种学习能力，是杨立昆等 AI 科学家想要复刻的。但目前在机器学习领域，无论是监督学习还是强化学习，都存在一定局限性，这给人工智能的进步设置了无形的天花板，结果就是人工智能对世界只有一个肤浅的理解，而不具备常识。
　　杨立昆认为，目前最有前景的实现方法是一种被称为 ＂自我监督学习（Self-supervised Learning）＂ 的模型。这是他近几年大力支持且深度参与的研究方向，多次将其称为 ＂智能世界的暗物质＂。
　　图 | 2021 年 3 月，杨立昆在 Facebook AI 官方博客撰文介绍自我监督学习（来源：资料图）
　　该模型的核心是在不提供标注数据的前提下，训练 AI 的预测能力，可用于填补文本、图像或视频中的空白。
　　模型的背后，结合了感知模块、世界模型和评判体系三大模块：通过感知模块获得周围环境的状态信息，借助世界模型（函数）预测接下来可能出现的多种状态，再交给评判体系（成本函数）预测目标未来的平均值，表示某个状态对于世界状态的发展是有利还是不利。
　　这套复杂的、具有预测能力的自主智能框架诞生的时间并不长，但已受到广泛关注，在自然语言处理领域大放异彩的谷歌 BERT 模型，其背后原理（Transformer 架构）与自我监督学习一脉相承。
　　另一方面，训练机器学习模型需要用到海量的数据，但杨立昆指出，无论你在媒体上读到了什么，大公司对自己的数据都有 ＂极强的保护欲＂。无论是出于 ＂保护用户隐私＂，还是出于 ＂巩固竞争优势＂ 的目的，总之它们是不会随便分享自己的数据的。
　　而自我监督学习模型可以有效减少对数据的依赖，帮助解决这个人工智能领域亟待攻破的挑战之一。开放的精神让 AI 技术实现飞跃
　　至于何时 AI 才能具备常识，许多人认为，从 ＂没有智能＂ 到 ＂拥有智能＂ 或许就在一瞬之间，比如某个颠覆性技术横空出世，或者一觉起来，AI 机器人突然就完成了自我觉醒。
　　杨立昆坦言自己也无法回答这个问题，但可以肯定的是，这一过程绝不会是 ＂一夜之间出现的＂。
　　他对 DeepTech 表示，＂颠覆性技术是无法预测的，你永远不知道什么时候会出现。但我们搞懂 AI 的过程一定是循序渐进的。几年后，我们或许能做出一个跟猫的智商差不多的 AI。至于跟人类智能相当的水平，可能要几十年以后了。＂
　　听起来似乎有些悲观，但其实许多媒体和企业通过营销噱头在一定程度上神化了 AI 的进展，使后者在公众心中变得过分乐观，甚至出现了对 AI 的恐惧和末日论。
　　作为一个坚守立场并已度过 ＂AI 寒冬＂ 的科学家，杨立昆毫无疑问对神经网络和人工智能持积极态度，其评价也更客观。
　　他表示自己很欣慰能看到 ＂日益开放的研究氛围＂，因为只有整个行业持续保持开放的精神，才能涌现出越来越多的优秀成果。
　　我们看到的开源和开放精神，也就是最近七、八年流行起来的，十多年前并不是这样的。就算是现在，许多在 AI 研究上投入巨大的公司也更喜欢保密，然后开发基于人工智能的消费产品，以获得竞争优势。
　　但杨立昆认为这并不代表巨头就能形成垄断，因为 ＂创新的想法可以诞生在任何开放的环境中＂，小企业也可以凭借优秀的研究成果谋得一席之地。
　　＂这本质上是公司文化决定的，需要全球性的努力，＂ 他补充称，＂好消息是，我们看到越来越多的公司在推进开放精神，有欧美公司，也有中国公司。＂
　　杨立昆由衷希望这个趋势能继续下去，只有这样，才能激发更多科学家去发掘人类智能的奥秘。