为AI开辟新路径，科学家提出新型人造纳米线神经形态网络

　　撰文：XT
　　编审：寇建超
　　众所周知， 人脑信息处理系统的复杂程度是当前最先进的超级计算机也无法媲美的 。大脑中数百亿个神经元通过神经突触进行连接，构成复杂的神经网络。在神经突触非线性元素和循环网络拓扑结构复杂的相互作用下，大脑得以实现独特的自适应实时学习。
　　近年来，受大脑神经系统的启发，神经形态计算成为人工智能领域的一个重要研究方向，科学家们希望可以研发出像人类大脑一样能够处理信息、拥有记忆、可自主学习的计算机。 其中，神经形态计算网络的一个重要发展方向就是基于忆阻突触器件的硬件神经网络，而近几年发展起来的纳米线网络（Nanowire networks，NWNs）就是一类独特的代表。
　　近日，来自悉尼大学（University of Sydney）、日本国立材料科学研究所（NIMS）的科学家们及其合作者，在这一领域实现了新的突破。他们 提出了一种人造纳米线网络的神经形态动力学，通过模拟发现，当受到电刺激时，这种纳米线网络会以类似大脑的方式进行调整。
　　该研究团队还发现，通过将纳米线网络保持在类似大脑处于 ＂混沌边缘＂（edge-of-chaos）的状态，证明系统能以最佳水平执行任务， 这一发现为人工智能的发展开辟了一条令人兴奋的新路径 。
　　该研究以 ＂  Avalanches and edge-of-chaos learning in neuromorphic nanowire networks  ＂ 为题，于 6 月 29 日发表在《自然通讯》（  Nature Communications  ）上。
　　该研究的作者之一、悉尼大学纳米研究所和物理学院的博士生 Joel Hochstetter 说：＂在一个二维平面上，我们将 10 微米长、不超过 500 纳米粗的导线随机排列。在导线重叠的地方，会形成一个电化学结点，就像神经元之间的突触。我们发现，通过这个网络的电信号会自动找到传输信息的最佳路径，而且这种架构允许网络 ‘记住’ 以前通过该系统的路径。＂  ＂混沌边缘＂ 为人工智能开辟新道路
　　近几年，悉尼大学（University of Sydney）Zdenka Kuncic 教授及其博士生 Joel Hochstetter 和日本国立材料科学研究所（Japan＂s National Institute for Material Science，NIMS）的 Tomonobu Nakayama 教授等科学家组成的国际研究团队在纳米线网络的研究领域进行了大量的研究，包括纳米线网络的动力学行为、网络拓扑结构等的内容。
　　混沌边缘一词是由数学家 Doyne Farmer 提出，用于描述计算机科学家 Christopher Langton 发现的过渡现象。 混沌边缘最初是指变量 λ 的区间，在该区间内观察元胞自动机（CA）的行为发生变化。随着 λ 变化，元胞自动机的行为发生了相变。
　　人们普遍认为，在非线性动态系统中，最优信息处理可以在接近相变（即所谓的临界点）时实现。不同的相变与临界性有关，特别是 ＂雪崩临界性＂ 和 ＂混沌边缘临界性＂。
　　在雪崩临界状态下，系统处于活动 - 传播过渡的临界点，系统的扰动可能会在一定的规模和持续时间范围内引发级联，以无标度幂律分布为特征；在混沌边缘临界状态下，系统的动力学状态处于有序和无序之间，系统对扰动保持无限的记忆。混沌边缘动力学已经在皮层网络中被观察到，且似乎优化了循环神经网络、回声状态网络和随机布尔网络的计算性能。
　　纳米线网络嵌入了自上而下的纳米制造方法，这种自组装方式为其网络电路赋予了复杂的结构，可以实现电阻开关存储器（忆阻）交叉点结的更高互连性。无论从结构还是功能关系方面，纳米线网络与自下而上的自组装形成的真实（生物）神经网络，都具有很强的相似性。
　　神经形态的纳米线网络可以被用于一系列的信息处理任务，信息可以存储在记忆性结点通路中，用于静态任务，如联想记忆和图像分类。 为了更深入地了解纳米线网络的神经形态动力学，在该研究中，Hochstetter 及其团队设计了一种物理驱动的 Ag-PVP 纳米线网络计算模型。
　　图 | Ag-PVP 纳米线网络与记忆结（来源：  Nature Communications  ）
　　Ag∣PVP∣Ag 结位于纳米线之间的交叉处，这些电结被建模为压控忆阻器，通过调节 PVP 层中结的导电银丝的状态，可以控制结点的电导率。研究人员使用该模型进行模拟，分析了该神经形态系统的网络水平动态，以了解如何使其在解决简单任务时发挥最佳性能。
　　研究发现，如果刺激网络的信号太低，就会导致路径过度地可预测和有序，并且不会产生足够复杂的输出；如果电信号淹没了网络，输出将完全混乱，对解决问题毫无用处。产生有用输出的最佳信号恰好位于这种混沌状态的边缘。
　　对此，Kuncic 表示： ＂神经科学的一些理论表明，人类的思维可以在这种混沌边缘或者所谓的临界状态运行。一些神经科学家认为，正是在这种状态下，我们的大脑才能达到最全面的性能。＂
　　＂这个结果令人兴奋的是，它表明这些类型的纳米线网络可以被调整到具有多样化的、类似于大脑的集体动力机制，从而可以用来优化信息处理。＂ Kuncic 说。
　　由于回忆性结点与递归网络拓扑结构的耦合，使得纳米线网络在储能计算框架中实施时成为时间信息处理的理想选择，如信号转换和非线性时间序列预测。研究人员在论文中指出，这些应用表明纳米线网络是一个很有前途的神经形态系统，可用于流式数据的自适应信号处理。  克服计算机的二元性
　　在纳米线网络中，导线之间的连接允许系统将内存和运算合并到一个系统中，这与标准计算机不同，后者是将内存（RAM）和中央处理器（CPU）分开的。神经形态网络是由银纳米线的随机自组装形成的，银纳米线在合成后被涂上一层聚合物，其中两个纳米线之间的结点充当电阻开关，就像是生物神经网络中的神经突触。
　　对此，Hochstetter 表示：＂这些结点的作用类似于计算机晶体管，但有一个额外的特性，即记住信号以前曾经走过的路径。因此，它们被称为忆阻器（memristors）＂。
　　这种内存采取了一种物理形式，即纳米线之间的交叉连接点就像开关一样，其行为取决于对电信号的历史响应。当信号施加在这些结点上时，微小的银丝会通过允许电流流过，渐渐地激活这些结点。＂这在纳米线的随机系统中创造了一个记忆网络。＂Hochstetter 说。
　　图 | 细丝形成模型的图示（横轴表示结电压，纵轴表示阈值忆阻器结模型中结电压的函数）（来源：  Nature Communications  ）
　　基于此，Hochstetter 及其团队构建了一个物理网络的模拟，以展示如何训练它来解决非常简单的任务。他们通过训练网络将一个简单的波形转换为更复杂的波形类型。
　　在模拟中，他们调整了电信号的振幅和频率，以查看最佳性能出现的位置。＂我们发现，如果你把信号推得太慢，网络就会一遍又一遍地重复做同样的事情，而没有学习和发展；如果我们把它推得太快，网络就会变得不稳定和不可预测。＂ Hochstetter 说。
　　Kuncic 教授认为，将记忆和运算结合起来，对于人工智能未来的发展具有巨大的实践优势。＂需要训练网络的算法知道应该给哪个节点分配适当的‘负载’或信息权重，这会消耗很多能量。＂
　　＂我们正在开发的系统不需要这样的算法。我们只是允许网络开发自己的权重，这意味着我们只需要考虑信号的输入和输出，这种框架被称为‘储备池计算（reservoir computing）’。网络权重是自适应的，可以释放出大量的能量。＂Kuncic 表示，这意味着未来任何使用这种网络的人工智能系统将会实现更低的能耗。  纳米线网络的发展前景
　　事实上，在今年发表在 Advances in Physics: X 上的一篇题为 ＂  Neuromorphic nanowire networks: principles, progress and future prospects for neuro-inspired information processing  ＂ 的综述中，Kuncic、Hochstetter 等人已经对纳米线网络的未来发展方向进行了刻画。
　　他们表示，金属核纳米线网络的记忆特性已被广泛描述，但还需要更多的研究来阐明其复杂、无序的网络结构所发挥的关键作用，这对其出现的非线性动力学有很大影响。Kuncic 认为，从复杂物理系统、统计物理学、非线性动力学和网络神经科学以及水库计算等领域拓展知识和技术，或许可以在新兴人工神经网络模型的研究领域取得重大进展。
　　论文指出，通过自下而上自组装生长的具有导电性能的有机纳米线或纳米纤维也值得进一步研究，比较有机和无机纳米线网络的信息处理能力，可能会揭示出对神经形态系统中生物模仿和生物可信性的重要性的新见解。
　　此外，纳米线系统的另一个未来研究方向是其在神经形态量子信息处理方面的潜力。到目前为止，关于神经形态量子计算的研究都集中在将人工神经网络编码到量子计算硬件系统中。然而，神经网络可以使用超导纳米线被夹在量子硬件中，以实现能够进行量子信息处理的神经形态系统。
　　那么，如何超越现有的机器学习基准任务，用纳米线网络进行神经形态信息处理？研究人员指出，未来的努力方向应该集中在复杂的信号处理任务以及在保留因果关系的约束下对流式空间和背景信息进行分类。想要实现真正的神经形态智能，还有很长的一段路要走。
　　参考资料：
　　https://www.nature.com/articles/s41467-021-24260-z
　　https://www.eurekalert.org/pub_releases/2021-06/uos-oc062721.php
　　https://www.tandfonline.com/doi/full/10.1080/23746149.2021.1894234
　　https://ieeexplore.ieee.org/document/9181034
　　https://www.taoxue.com/gaokao/gaokaozixun/54056.html