强化学习得到量子加速，奥地利团队研究登上Nature

　　作者/文龙
　　强化学习（RL）早已被广泛应用于医疗保健、游戏竞技等实际生活场景中，但它的训练通常需要花费很长的时间。近日，来自奥地利维也纳大学的一组研究人员巧妙地运用量子技巧实现了对处理涉及光子的任务的显著提速。
　　这项研究于3月10日以「强化学习实验智能体中的量子加速」（Experimental quantum speed-up in reinforcement learning agents）为题发表在《自然》（Nature）杂志上。论文的主要作者是奥地利维也纳大学物理系教授、维也纳量子科学技术中心研究员瓦莱里亚·萨焦（Valeria Saggio）。
　　强化学习是人工智能中的一个重要范例，其中称为「智能体」的决策实体与环境进行交互，并根据获得的奖励不断地更新其行为，通过反馈进行学习以实现目标。但在实际应用中，问题的关键是如何让智能体进行快速学习。
　　同时，量子技术取得了令人瞩目的进步。量子力学的核心是叠加原理，通过无数个可能的选择组成连续的状态向量对最简单的二维量子系统加以描述。受量子力学启发的Advantageous RL算法已成功解决了量子信息处理中的问题，但与其他RL算法一样训练耗时良久，与量子计算的速度不匹配。
　　Saggio和她的同事们决定在训练中加入量子扭曲，以加快这一进程。他们设计了一个实验，让光子穿过波导并最终进入四种可能状态中的一种，通过给智能体布置任务并设置奖励，确保光子最终处于一种特定的目标状态。
　　图示：电路实现。（来源：论文）
　　在此实验的经典版本中，智能体一次只能将光子移动到一个特定状态，当做出正确的猜测时，它会得到奖励。
　　在奥地利团队提出的量子版本中，智能体可以访问内部的量子硬件并与量子状态的行动、感知、奖励进行交互，这意味着光子的状态不再局限于固定的选择，而是多个状态的任意叠加。也正因如此，智能体能够在做出最终猜测之前，快速缩小正确答案的范围。
　　图示：强化学习经典版和量子版对比示意图。（来源：论文）
　　Saggio说：「想象一下，有一个站在十字路口的机器人，该机器人有两个选择——向左走或者向右走。如果机器人向右走，它将不会获得奖励，但如果机器人向左走，它将获得奖励。那么在下一轮，它向左走的可能性将会增加。」
　　这是实验的经典版本，但是量子版本将允许它在每次选择时可以同时向左走和向右走，使得机器人在学会始终向左走之前，所需的猜测次数大大减少。
　　实验结果显示，这种策略将RL的学习时间缩短了63％，从平均270次的猜测缩短到了100次。
　　图示：不同学习策略的平均奖励η的行为（来源：论文）
　　该团队提出并演示了新的RL协议，即通过允许智能体与环境进行量子通信来提高其性能。这样就可以在学习的时间上实现量子加速，并对学习过程实现最佳控制。
　　Saggio指出，量子通信发展的长期目标是建立「量子互联网」，一种能够通过光路分配和操纵量子态的高度互联的网络。因此，「我们设想AI和RL在未来的量子网络（包括可能的量子互联网）中会扮演重要角色，就像AI在当今互联网中是不可或缺的一部分一样。」
　　研究人员建议，他们的协议专门用于诸如网络路由问题之类的需要频繁搜索的问题。「我们的理论背景适用于不同的平台。未来将实现智能体和环境在空间上分离，以及在它们之间实现相干交换的光质子接口。」
　　论文链接：https://www.nature.com/articles/s41586-021-03242-7
　　参考内容：https://www.newscientist.com/article/2270517-a-quantum-trick-with-photons-gives-machine-learning-a-speed-boost/amp/