小乐数学科普信息论之父香农如何发明未来译自量子杂志

　　今天的信息时代只有借助一个天才的开创性工作才有可能。
　　香农Shannon
　　弗朗西斯·贝洛庄园
　　——科学资源
　　作者：谢大卫 2020-12-22
　　量子杂志专栏作家，大卫·谢（David Tse）是斯坦福大学工程学院的Thomas Kailath和徐光汉席位教授。译者：zzllrr小乐 2020-12-23
　　zzllrr小乐头条号、企鹅号、百家号、微信公众号、B站专栏、知乎专栏同步发布
　　科学，寻求大自然的基本定律。数学，在旧的定理基础上寻找新的定理。工程，构建解决人类需求的系统。这三个学科是相互依存但又截然不同的。一个人很少同时为这三者做出核心贡献，但克劳德·香农（Claude Shannon）就是一个罕见奇才。
　　尽管香农是最近的纪录片《比特玩家The Bit Player》的主题，而他的工作和研究哲学启发了我自己的职业，但香农并不是一个家喻户晓的人物。他从未获得过诺贝尔奖，而且在2001年去世之前或之后，他都不是像阿尔伯特·爱因斯坦（Albert Einstein）或理查德·费曼（Richard Feynman）这样的名人。但是70多年前，他在一份开创性的论文中奠定了整个通信基础，构建出现代信息时代的基础。
　　香农（Shannon）于1916年出生于密歇根州的盖洛德（Gaylord），是一位当地商人和一名教师的儿子。从密歇根大学获得电气工程和数学学位后，他在麻省理工学院（Massachusetts Institute of Technology）撰写了一篇硕士论文，将一门名为布尔代数的数学学科应用于开关电路的分析和合成。这是一项变革性的工作，将电路设计从一门艺术变成了一门科学，现在已被认为是数字电路设计的起点。
　　克劳德·香农（Claude Shannon）撰写了一篇硕士论文，该论文迅速启动了数字电路设计，十年后，他撰写了有关信息论的开创性论文《通信的数学理论》。
　　——麻省理工学院博物馆
　　接下来，香农将目光投向了一个更大的目标：通信。
　　通信是人类最基本的需求之一。从烟雾信号到信鸽，再到电话再到电视，人类一直在寻找能够使他们进行更远、更快、更可靠的通信的方法。但是，通信系统的工程总是与特定的来源和物理介质相关联。香农转而问：＂是否有一个大而统一的通信理论？＂ 在1939年给他的导师范尼瓦尔·布什（Vannevar Bush）的信中，香农概述了他的一些初步想法，即＂用于情报传递的通用系统的基本特性＂。经过十年的研究，香农终于在1948年发表了他的杰作：＂通信的数学理论＂。
　　他的理论的核心是一个简单但非常通用的通信模型：发送器将信息编码为信号，该信号会被噪声破坏，然后由接收器解码。尽管其简单性，香农的模型还是结合了两个关键的见解：将信息和噪声源与要设计的通信系统隔离开来，并对这两个源进行概率建模。他设想信息源会生成许多可能的消息之一来进行通信，每条消息都有一定的概率。概率噪声进一步增加了接收器解开的随机性。
　　在香农之前，通信问题主要被视为确定性信号重建问题：如何转换受物理介质扭曲的接收信号，以尽可能准确地重建原始信号。香农的天才在于他的观察，即通信的关键是不确定性。毕竟，如果你提前知道了我在本专栏中对你说的话，那么编写它的目的是什么？
　　香农的通信模型示意图，摘自他的论文
　　——贝尔系统技术杂志
　　单一的观察将通信问题从物理问题转移到了抽象问题，从而使香农可以使用概率对不确定性进行建模。这给当时的通信工程师带来了极大的震惊。
　　考虑到不确定性和可能性的框架，香农在其具有里程碑意义的论文中着手系统地确定通信的基本限制。他的回答分为三个部分。信息＂位＂的概念在这三个方面都扮演着重要角色，香农将其用作不确定性的基本单位。＂二进制数字＂的双格旅行箱，可以是1或0，香农的论文是第一个使用该词的人（尽管他说数学家John Tukey在一个备忘录中首先使用了它）。
　　首先，香农提出了每秒比特数来表示信息的最小数量的公式，即他所谓的熵率，H。该数字量化了消息源将生成哪条消息所涉及的不确定性。熵率越低，不确定性越小，因此将消息压缩成较短的内容越容易。例如，以每分钟100个英文字母的速率发送短信意味着每分钟发送26¹⁰⁰条可能的消息，每条消息均由100个字母的序列表示。人们可以将所有这些可能性编码成470比特位，因为2⁴⁷⁰ ≈26¹⁰⁰。如果序列具有相同的可能性，那么香农公式将表明熵速率实为每分钟470位。实际上，某些序列比其他序列更有可能，并且熵率要低得多，可以进行更大的压缩。
　　其次，他提供了一个公式，计算他所谓的系统的容量，C，在噪音中系统能够可靠地传达的每秒最大数量比特数。这是接收者可以消除消息不确定性的最大速率，有效地成为通信限速。
　　最后，他表明，只有当H < C时，面对噪声来自信源的信息才能进行可靠的通信。因此，信息就像水一样：如果流量小于管道的容量，则水流能可靠地通过。
　　虽然这是一种传播理论，但同时也是一种有关信息如何产生和传递的理论-信息论。因此，香农现在被认为是＂信息论之父＂。
　　他的定理得出了一些与直觉相反的结论。假设你在嘈杂的地方讲话，确保你的消息通过的最佳方法是什么？也许是重复多次？当然，这是任何人在大声餐厅中的第一个本能想法，但事实证明这不是很有效。当然，你重复自己的次数越多，沟通越可靠。但是你牺牲了速度来提高可靠性。香农向我们展示了我们可以做得更好。重复消息是使用代码传输消息的示例，通过使用不同且更复杂的代码，可以在保持给定可靠性的同时，快速通信-一直达到限速C。
　　香农也有爱玩的一面，他经常带到他的工作中。在这里，他与他为电子鼠标建造的迷宫合影，名为特修斯Theseus。
　　——麻省理工学院博物馆
　　香农理论的另一个出乎意料的结论是，无论信息的性质是什么，无论是莎士比亚十四行诗，贝多芬第五交响曲的录音还是黑泽明的电影，在传输之前，将其编码为比特位总是最有效的。因此，例如在无线电系统中，即使初始声音和通过空中发送的电磁信号都是模拟波形，香农定理也暗示着最好先将声波数字化为比特位，然后将这些比特位映射为电磁波。这一令人惊讶的结果是现代数字信息时代的基石，在这个时代，比特位已成为信息的通用货币。
　　香农的一般通信理论是如此自然，以至于他似乎发现了宇宙的通信定律，而不是发明了它们。他的理论与自然的物理定律一样基础。从这个意义上说，他是一名科学家。
　　香农发明了新的数学来描述通信定律。他介绍了一些新思想，例如概率模型的熵率，这些新思想已应用于遍历数学等广泛的数学分支，动力学系统的长期行为研究中。从这个意义上说，香农是一个数学家。
　　但最重要的是，香农是一名工程师。他的理论受到实际工程问题的启发。尽管对当时的工程师来说是深奥的，但香农的理论现已成为所有现代通信系统（光学，水下，甚至行星际）的基础标准框架。就个人而言，我很幸运地参与了将香农的理论应用和扩展到无线通信的全球性努力，在多代标准中将通信速度提高了两个数量级。确实，当前推出的5G标准使用的不是一种而是两种实用的代码，它们被证明可以达到香农的速度极限。
　　尽管香农（Shannon）于2001年去世，但他的遗产仍然存在于构成我们现代世界的技术和他创造的设备（如这种遥控巴士）中。
　　——麻省理工学院博物馆
　　香农在70多年前就为所有这一切奠定了基础。他是怎么做到的？通过不懈地专注于问题的基本特征，而忽略了所有其他方面。他的通信模型的简单性就是这种风格的很好例证。他还知道要专注于可能的事情，而不是立即可行的事情。
　　香农的工作说明了顶级科学的真正作用。当我开始读研究生时，我的导师告诉我，最好的工作是修剪知识树，而不是壮大知识树。那时候我不知道该怎么做。我一直认为我作为研究人员的工作是添加自己的树枝。但是在我的职业生涯中，由于有机会在自己的工作中运用这种哲学，我开始理解。
　　当香农开始研究通信时，工程师已经掌握了大量技术。正是他的统一工作将所有这些知识枝条修剪成了一棵连贯而可爱的树，这棵树为几代科学家，数学家和工程师带来了成果。