如何让宇宙为我们思考

　　在一个隔音的板条箱内，坐着世界上最差的神经网络之一。在收到数字6的图像后，它会暂停片刻，然后识别数字：零。领导该网络开发的康奈尔大学物理工程师彼得·麦克马洪（PeterMcMahon）羞怯地笑着为其辩护，指出手写数字看起来很马虎。来自NTT Research访问麦克马洪实验室的博士后洛根·赖特（LoganWright）向我保证，该设备通常会得到正确的答案，但他承认错误是常见的。＂就是这么糟糕，＂他说。
　　尽管性能不佳，但该神经网络是一个突破性的工具。研究人员将板条箱翻过来，发现不是一个电脑芯片，而是一个麦克风，它朝着一个固定在扬声器上的钛板倾斜。其他神经网络在0和1的数字世界中运行，但这种设备是靠声音运行的。当Wright提示一个新的数字图像时，它的像素被转换成音频，当演讲者摇动盘子时，实验室里充满了微弱的叽叽喳喳声。金属混响进行＂读取＂，而不是在硅上运行的软件。这种设备的成功往往让人难以置信，甚至对它的设计者来说也是如此。
　　McMahon说：＂无论摇动金属的功能是什么，它都与手写数字的分类无关。＂。
　　康奈尔大学研究小组在一月份的《自然》杂志上发表的一篇论文中介绍了这种设备的原始阅读能力，这给了麦克马洪和其他人希望，它的远祖能够彻底改变计算。
　　当涉及到传统的机器学习时，计算机科学家发现越大越好。在神经网络中加入更多的人工神经元（存储数值的节点），可以提高其区分达克斯猎犬和达尔马提亚猎犬的能力，或者在无数其他模式识别任务中取得成功。真正强大的神经网络可以完成令人不安的任务，如撰写论文和创作插图。有了更多的计算能力，甚至更伟大的壮举也可能成为可能。这一潜力激发了人们为开发更强大、更高效的计算方法所做的大量努力。
　　麦克马洪和一群志同道合的物理学家支持一种非正统的方法：让宇宙为我们计算数字。麦克马洪说：＂许多物理系统自然可以以比计算机更高效或更快的方式进行计算。＂。他引用了风洞的例子：当工程师设计飞机时，他们可能会将蓝图数字化，并在超级计算机上花费数小时来模拟空气如何围绕机翼流动。或者，他们可以把汽车放在风洞里，看看它是否能飞起来。从计算角度来看，风洞可以即时＂计算＂机翼与空气的相互作用。
　　Peter McMahon和Tatsuhiro Onodera是康奈尔大学一个团队的成员，该团队为完成学习任务设计了多种物理系统。
　　风洞是一台专心致志的机器；它模拟空气动力学。麦克马洪（McMahon）等研究人员正在寻找一种可以学习做任何事情的设备——一种可以通过反复试验来调整其行为的系统，以获得任何新的能力，例如对手写数字进行分类或区分一个语音元音与另一个语音元音。最近的研究表明，光波、超导体网络和分支电子系统等物理系统都可以学习。
　　瑞士苏黎世联邦理工学院（Swiss Federal Institute of Technology Zurich）数学家本杰明·斯切利尔（Benjamin Scellier）说：＂我们不仅在重塑硬件，而且在重塑整个计算范式。＂  学会思考
　　学习是一个奇特的过程；直到大约十年前，大脑是唯一做得很好的系统。正是大脑的结构松散地激发了计算机科学家设计深层神经网络的灵感，这是目前最流行的人工学习模型。
　　神经网络是一种通过实践学习的计算机程序。该网络可以被认为是一个网格：存储值得称为神经元的节点层通过线或＂突触＂与相邻层的神经元相连最初，这些突触只是被称为＂权重＂的随机数
　　当你想让网络读取一个数字（比如4）时，你可以让第一层神经元代表4的原始图像，也许可以将每个像素的阴影作为一个值存储在相应的神经元中。然后网络＂思考＂，逐层移动，将神经元值乘以突触权重，以填充下一层神经元。最后一层中值最高的神经元表示网络的答案。例如，如果是第二个神经元，网络猜测它看到了一个2。
　　为了教会网络做出更明智的猜测，一种学习算法会反向工作。每次试验后，它计算猜测和正确答案之间的差异（在我们的示例中，这将由最后一层中第四个神经元的高值和其他地方的低值表示）。然后，一个算法逐层返回网络，计算如何调整权重，以获得最终神经元的值，根据需要上升或下降。这一过程被称为反向传播，是深度学习的核心。
　　通过多次猜测和调整重复，反向传播将权重引导到一个数字配置，该配置将通过图像启动的级联乘法，吐出写入其中的数字。
　　但是，与大脑中发生的任何事情相比，人工神经网络中发生的学习的数字化版本看起来效率极低。人类儿童每天摄入的热量不到2000卡路里，几年后就可以学会说话、阅读、玩游戏等等。在这样一种能量有限的饮食中，突破性的GPT-3神经网络（一种能够流畅对话的神经网络）需要花费一千年的时间才能学会聊天。
　　从物理学家的角度来看，大型数字神经网络只是试图做太多的数学运算。今天最大的庞然大物必须记录和操纵超过5万亿个数字。与此同时，宇宙不断地完成任务，远远超出了计算机微薄的簿记能力的极限。一个房间里可能有数万亿的空气分子在四处弹跳；对于一台计算机来说，要想在一个全面的碰撞模拟中跟踪运动物体的数量是不可能的，但空气本身在决定如何在瞬间做出反应方面没有问题。
　　面临的挑战是建立物理系统，使其能够自然地完成人工智能所需的两个过程，即对图像进行分类所涉及的＂思考＂，以及对这些图像进行正确分类所需的＂学习＂。一个同时掌握这两项任务的系统将利用宇宙的数学能力，而不必实际进行数学运算。
　　＂我们从来没有计算过3.532乘以1.567之类的数字，＂Scellier说。＂这是直接按照物理定律完成的，但这是隐含的。＂  思考部分
　　麦克马洪和他的合作者在＂思考＂这一半难题上取得了进展。
　　在大流行前的最后几个月，麦克马洪在康奈尔大学建立实验室时，仔细考虑了一个奇怪的发现。多年来，性能最好的图像识别神经网络一直在不断深入。也就是说，具有更多层的网络能够更好地接收一组像素并显示一个标签，例如＂贵宾犬＂这一趋势激发了数学家们研究网络正在实现的转换（从像素到＂贵宾犬＂），2017年，几个研究小组提出，网络的行为就像平滑数学函数的近似版本。在数学中，函数将输入（通常是沿x轴的位置）转换为输出（该位置处曲线的y值或高度）。在特定类型的神经网络中，层越多越好，因为函数的锯齿越少，越接近理想曲线。
　　这项研究引起了麦克马洪的思考。也许有了一个平稳变化的物理系统，就可以避免数字方法固有的阻塞性。
　　诀窍是找到一种驯化复杂系统的方法——通过训练来调整其行为。麦克马洪和他的合作者选择钛板作为这样的系统，因为它的许多振动模式以复杂的方式混合了传入的声音。为了使平板像神经网络一样工作，他们输入一个声音对输入图像进行编码（例如手写的6），另一个声音代表突触权重；峰值和波谷需要精确地在合适的时间撞击钛板，以便设备合并声音并给出答案，例如一个新的声音在第六毫秒内最大，代表分类＂6＂
　　康奈尔大学的一个团队训练了三种不同的物理系统来＂读取＂手写数字
　　该小组还在一个光学系统中实施了他们的方案——在该系统中，输入图像和权重被编码在两束被晶体混在一起的光束中——以及在一个能够类似地混洗输入的电子电路中。原则上，任何具有拜占庭行为的系统都可以，尽管研究人员认为光学系统具有特殊的前景。晶体不仅可以极快地混合光，而且光还包含关于世界的丰富数据。麦克马洪设想有一天，他的光学神经网络的微型化版本可以充当自动驾驶汽车的眼睛，识别停车标志和行人，然后再将这些信息输入汽车的计算机芯片，就像我们的视网膜对入射光执行一些基本的视觉处理一样。
　　然而，这些系统的致命弱点在于，训练它们需要回归数字世界。反向传播涉及反向运行神经网络，但平板和晶体不容易分解声音和光线。因此，该小组构建了每个物理系统的数字模型。在笔记本电脑上反转这些模型，他们可以使用反向传播算法来计算如何调整权重以给出准确答案。
　　通过这种训练，车牌在87%的时间里学会了对数字进行正确分类。电路和激光器的精度分别达到93%和97%。法国国家科学研究中心（CNRS）的物理学家朱莉·格罗利尔（JulieGrollier）说，结果表明＂不仅标准神经网络可以通过反向传播进行训练＂。＂真漂亮。＂
　　该小组颤动的金属板尚未使计算机更接近令人震惊的大脑效率。它甚至没有达到数字神经网络的速度。但麦克马洪认为，他的设备即使不太起眼，也是引人注目的证据，证明你不需要大脑或电脑芯片来思考。＂任何物理系统都可以是神经网络，＂他说。  学习部分
　　另一半难题有很多想法，那就是让一个系统能够自行学习。
　　德国马克斯·普朗克光科学研究所的物理学家弗洛里安·马夸特认为，一种选择是建造一台反向运行的机器。去年，他和一位合作者提出了一种可以在这样一个系统上运行的反向传播算法的物理模拟。
　　为了证明它的工作原理，他们对一种有点像麦克马洪的激光装置进行了数字模拟，将可调权重编码在一个光波中，该光波与另一个输入波混合（例如，编码一幅图像）。他们推动输出，使其更接近正确答案，并使用光学元件来分解波，从而逆转这一过程。＂神奇的是，＂马夸特说，＂当你用相同的输入再次尝试该设备时，[输出]现在有一种趋势，即更接近你想要的位置。＂接下来，他们正与实验人员合作构建这样一个系统。
　　但是，专注于反向运行的系统限制了选择，因此其他研究人员将反向传播完全抛在了后面。他们从知道大脑以标准反向传播以外的其他方式学习中得到鼓励。＂大脑不是这样工作的，＂斯切利尔说。神经元A与神经元B进行通信，＂但这只是单向的。＂
　　法国的物理学家朱莉·格罗利尔已经实现了一种物理学习算法，该算法被视为反向传播的一种很有希望的替代方法
　　2017年，Scellier和蒙特利尔大学计算机科学家Yoshua Bengio开发了一种称为平衡传播的单向学习方法。为了弄清楚它是如何工作的，想象一个箭头网络，其作用类似神经元，其方向指示0或1，通过充当突触权重的弹簧连接在网格中。弹簧越松，链接的箭头越不容易对齐。
　　首先，扭转最左边一行中的箭头，以反映手写数字的像素，并将其固定，同时扰动通过弹簧向外扩散，翻转其他箭头。当翻转停止时，最右边的箭头给出答案。
　　至关重要的是，您不必通过取消翻转箭头来训练此系统。相反，您可以在网络底部连接另一组显示正确答案的箭头；这些箭头在上一组中翻转，整个网格进入一个新的平衡。最后，将箭头的新方向与旧方向进行比较，并相应地拧紧或松开每个弹簧。在许多试验中，斯切利尔和本吉奥证明，弹簧以一种相当于反向传播的方式获得了更聪明的张力。
　　格罗利尔说：＂人们认为物理神经网络和反向传播之间没有可能的联系。＂。＂最近，情况发生了变化，这非常令人兴奋。＂
　　关于平衡传播的最初工作都是理论性的。但在即将出版的一份出版物中，格罗利尔和CNRS的物理学家Jérémie Laydavant描述了该算法在D-Wave公司制造的称为量子退火机的机器上的执行情况。该设备有一个由数千个相互作用的超导体组成的网络，这些超导体可以像箭头一样通过弹簧连接，自然地计算出＂弹簧＂应该如何更新。不过，系统无法自动更新这些突触权重。  闭合圆
　　至少有一个团队已经收集了这些材料，构建了一个电子电路，用物理完成所有的举重任务——思考、学习和更新重量。宾夕法尼亚大学物理学家萨姆·迪拉沃（SamDillavou）说：＂我们已经能够关闭一个小系统的环路。＂。
　　宾夕法尼亚大学的物理学家萨姆·迪拉沃（SamDillavou）修补了一个可以在学习过程中自我修改的电路
　　Dillavou和他的合作者的目标是模拟大脑，这是一种真正的智能物质：一个相对统一的系统，在没有任何单一结构的情况下进行学习。＂每个神经元都在做自己的事情，＂他说。
　　为此，他们建立了一个自学习电路，其中可变电阻作为突触权重，神经元是电阻之间测量的电压。为了对给定的输入进行分类，它将数据转换为施加在几个节点上的电压。电流流经电路，寻找能量消耗最少的路径，并在稳定时改变电压。答案是指定输出节点处的电压。
　　他们的主要创新在于不断挑战的学习步骤，为此他们设计了一种类似于平衡传播的方案，称为耦合学习。当一个电路接收数据并＂想出＂猜测时，相同的第二个电路从正确答案开始，并将其纳入其行为中。最后，连接每对电阻器的电子设备会自动比较它们的值并进行调整，以实现＂更智能＂的配置。
　　去年夏天，该研究小组在一份预印本中描述了他们的基本回路，表明它可以学习以95%的准确度区分三种类型的花。现在他们正在开发一种更快、功能更强大的设备。
　　即使是这种升级也无法击败最先进的硅芯片。但是，建造这些系统的物理学家们怀疑，数字神经网络——就像今天看起来一样强大——最终会比模拟神经网络显得缓慢和不足。数字神经网络在因过度计算而陷入困境之前只能扩展这么多，但更大的物理网络只需要做自己。
　　Dillavou说：＂这是一个如此巨大、快速发展和多样化的领域，我很难相信会有一些功能强大的计算机是用这些原理制造的。＂。