概率论和统计学中的巨匠数学与水晶球（下）丨返朴

　　关注风云之声
　　提升思维层次
　　导读
　　概率论，数学家手中的水晶球。
　　在前文（让概率来帮我们预测未来——数学与水晶球（上） | 返朴）中，我们了解了一些概率论中的基本内容，包括条件概率和贝叶斯定理等。本文我们将了解作为数学学科的概率论与统计学是如何发展到现在的。当然，这是一个极简化的过程。有诸多非凡的学者，是他们的工作让概率与统计不再只是游戏，而是成为了可以真正指导人们生活的水晶球。
　　撰文 | Joseph Malkevitch  （纽约市立大学约克学院数学与计算机系荣誉教授）
　　编译 | 施昊
　　所谓事后诸葛，就是人们会看到从当下发展到未来时到底发生了什么，并且会说如果回到过去会如何。下面将要呈现的是，作为一门数学学科的概率论是如何发展的一个极简化的探究过程。我们能发现，概率论相关的数学研究既不局限于某个国家，也不限于那些在其他数学领域闻名的数学家。
　　另外，在人们最早试图深入了解可能性和概率的概念的时候，人们就有两种不同的想法。一种想法是，基于知识或证据来决定某件事发生的概率，比如飓风是否会袭击纽约，而且这个系统的行为本身包含某种随机性，比如投硬币或掷骰子。从某种角度看，如果人们知道所有的信息，并且运用物理学定律推演，那么我们将知道每次玩转盘、抛硬币、掷骰子等游戏的结果，但显然这是不可能的事情。不过，许多与之相似的过程都存在一些＂规律性＂的东西，这些才是概率论的研究主题。比如说，如果抛一对均匀的骰子，你将会有多大可能看到两个点数之和等于四呢？
　　对概率的早期认识
　　几乎可以肯定的是，在很早时候，那些具有数学天赋的人就意识到了＂随机性＂，比如作出很大贡献的杰罗拉多·卡拉达诺（Gerolamo Cardano，1501-1576）。卡拉达诺研究了一些在今天看来是组合数学中计数部分的一些问题。他研究了当抛掷三个不同的骰子时最后结果的规律。他想要数出出现8或者9点的方式个数，但是他犯了错误。从现代的观点来看，卡拉达诺不是第一个也不是最后一个出现＂错误＂的人。为了说明他的错误，我们用下面的例子来阐述。
　　当我们抛一个均匀的硬币两次，用H表示正面，T表示反面，我们可以写出HH，HT，TH 和TT四种结果。这里HT就是第一次是正面，第二次反面，反之亦然。如果我们数正面朝上的次数，答案是0，1或者2次。但是从现在的角度来看，说这三个结果（0，1，2）的可能性也就是P(0个正面)=P(1个正面)=P(2个正面)=1/3，这很奇怪。我们现在会说在抛两次硬币中1个正面朝上的概率是1/2，两次正面朝上或者两次背面朝上的概率是1/4。可是，这个似乎很简单的错误在早期的概率论和组合数学中倒是很常见。事后看来却是显而易见的。
　　以数学基础研究随机性的＂现代＂起源要追溯到布莱兹·帕斯卡（Blaise Pascal ，1623-1662）和皮埃尔·德·费马（Pierre de Fermat，1607-1665）的工作。1654年两人通信探讨了一个赌博游戏中的分配问题。
　　布莱兹士·帕斯卡
　　假设有两个赌徒，每一局中他们各自赢的机会相等。有一天，他俩各拿出相同金额的钱作为赌注，约定谁先赢到某个局数（假设是5），赌注就全部归谁。不料，这时有突发事件，他们必须结束赌局并离开。此时，两个人谁也没赢到5盘，那么这个赌注的钱应该怎么分呢？当然，此时赢得多的人应该相应地拿的赌注多。可是，多少才算是公平呢？在通信中，帕斯卡给出了一个公平的分配方案。
　　有趣的是，信中他还顺带解决了上帝＂存在＂的问题。虽然如今现代决策论可能被用来决定是否在特定的水下层位置进行石油钻探，这无可厚非，而帕斯卡则用了一个令人惊讶的＂现代＂分析来解释为什么会有人相信上帝。帕斯卡在这里的讨论遵循了他著名的哲学专著《思想录》中提出的观点：上帝要么存在，要么不存在。每个人都必须决定他在这个问题上的立场，不能＂不做决定＂。关于上帝是否存在，帕斯卡认为单靠理性不能回答这个问题。可假设上帝存在的概率是有限的。人们可以从你决定坚持的立场来审视这一结果。帕斯卡认为，人们应该像上帝存在那样生活，并去寻找上帝。如果上帝存在，那么人们收益会是＂无穷的＂——因为信仰上帝而得到福泽；如果上帝不存在，对个人信仰来说损失相对较小对信仰者来说，他们所付出的代价也远小于因上帝存在而得到的福祉。当然，一些人觉得帕斯卡的观点很有说服力，有些人则不然。
　　让概率论成为数学
　　第一本关于概率论的＂书＂似乎是由克里斯蒂安·惠更斯（Christiaan Huygens， 1629-1695）所写的。
　　克里斯蒂安·惠更斯
　　正如他所处的时代，那本＂书＂是以拉丁文出版的。而且是作为1657年弗朗斯·范·舒滕（Frans van Schooten）的数学著作 Exercitationum Mathematicarum Libri Quinque  的＂附录＂问世——《论赌博中的计算》（ De ratiociniis in ludo Aleae ）。因此，除了在一小群致力于发展现代科学和数学思想和工具的知识分子中有影响，这本书的影响有限。
　　在这项工作不久之后，与随机性和统计相关的观点引起了约翰·格朗特（John Graunt，1620-1674）对疾病数据的关注。这些数据可以用来保护人们免受疾病未来可能带来的影响，尤其是关于传染病的影响。格朗特的工作在今天可能会被说成是与人口统计学有关的领域。他构建了一张表格，这张表格的现代运用就是保险公司用来设定寿险保费的＂生命表（Life table）＂。生命表里面包含着一个人的年龄，，这个人在下一个生日前去世的概率，以及人们在特定年龄的预期寿命等等。比如，60岁的人比30岁的人更可能在某个特定时间段死亡，因此在设定购买人寿保险的价格时，人们会使用生命表。随着时间的推移，人们已经意识到，并非所有人都能在给定的时间里活的一样长。比如说假设到了一个给定的年纪，女性有可能活得更久。此外，吸烟者的平均寿命不太可能跟不吸烟者一样。
　　在18世纪，有许多重要的发展出现。雅各布·伯努利（Jacob Bernoulli，1655-1705）在《猜度术》（ Ars conjectandi ）中讨论了今天被称为＂大数定律＂的想法。如果取一个＂独立＂生成的测量样本，那么随着测量次数的增加，这些测量的平均值就会变得更加＂稳定＂。如果某人用多次投掷一枚均匀的骰子，点数结果是1、2、3、4、5或6。随着投掷次数越来越多，点数的平均值会越来越接近7/2（即(1+2+3+4+5+6)/6）。今天，人们把一种特殊的概率模型（二项分布）称为＂伯努利试验＂，以纪念这位数学家。这类模型中的实验只有两种结果，比如抛硬币（正面或反面），或者观察大量老鼠的性别（雄性或雌性）。同一时期，亚伯拉罕·棣莫弗（Abraham de Moivre，1667-1754）研究了被称为年金的金融工具，而且用了今天所谓的＂正态分布＂来近似二项分布。
　　拉普拉斯（Pierre de Simon Laplace, 1749-1827）做了一些概率研究的成果＂总结＂并进一步＂拓展＂了。拉普拉斯几乎对数学的所有领域都作出了重要贡献，而不仅仅在概率论方面。他早期的工作记录在他1774年出版的＂回忆录＂（《论事件原因的概率回忆录》  Mémoire sur la probabilité des causes par les événements ）中，里面提到了＂逆概率（Inverse probability）＂，得出了与贝叶斯相同的观点。拉普拉斯在他的一些著作中强调了今天所谓的＂等概率＂模型，即尽管某些事件的概率是未知的，但它们仍被假设是等概率的。通常情况下，这并不总是合理的。因为，尽管一个人可能不知道事情发生的概率，但他可以肯定有些事情比其他事情更有可能发生。
　　拉普拉斯
　　19世纪对概率和统计有所贡献的人包括：高斯（Johann Carl Friedrich Gauß ，1777-1855）和阿德里安-马里·勒让德（Adrien-Marie Legendre ，1752-1833），后者是应用最小二乘法的先驱，他将一组观测数据拟合成曲线，并试图外推以预测未来情况。
　　然而，随着时间的推移，人们越来越清楚地认识到，作为一门数学学科，概率论必须建立在一个更＂公理化＂的基础上。由于没有明确的定义和精确的框架来证明结果，人们对概率论的基础产生了一些担忧。苏联数学家安德烈·柯尔莫哥洛夫（Andrey Kolmogorov, 1903-1987）就是一个敢于接受这一挑战的人。柯尔莫戈哥洛夫对数学的贡献非常广泛，包括在同调和上同调上的工作。
　　安德烈·科尔莫戈洛夫的照片
　　让概率论和统计学变得可靠
　　随着19世纪末及后来科学和数学的飞速发展，人们不仅在科学领域，也在其他领域尝试运用概率和统计的数学思想。虽然概率和统计逐渐有一个完善的理论基础，其结果证明也基本符合现代的严格标准（比如大数定律，中心极限定理等），但争论还是爆发了。要理解现实世界，基于概率论和统计学的方法论可靠吗？如同之前提到的，当人们谈论药物A比药物B效果更好的概率，和切尔诺贝利（1986）、三里岛（1979）或福岛（2011）再次发生灾难的概率，这两者之间是不同的，一些争论就是与这些差异性相关。某些类型的实验可以重复进行，结果可以制成表格，但很多事情没有这种特性。
　　在过去的125年里，有许多受过数学训练的学者开发了从数据中推断结论的＂统计＂工具。下面是关于统计检验贡献者的简短评论。
　　卡尔·皮尔森（Karl Pearson，1857-1936）帮助奠定了统计检验的现代理论。他研究了统计假设检验理论的实施过程（包括卡方检验的使用），并为面对不同选择如何系统地作出决策提供了论据。
　　卡尔·皮尔森
　　耶日.内曼（Jerzy Neynam，1894-1981）生于波兰，但大部分职业生涯都在美国度过。在美国期间，他任教于加州大学伯克利分校，指导了39名博士生。因为在假设检验方法方面的工作，他的名字经常和卡尔·皮尔逊的名字联系在一起，内曼帮助推进了把置信区间（1937）作为统计研究过程的一部分。
　　耶日·内曼
　　另一位试图用统计学方法来深入了解遗传学(进化)和其他学科的先驱是乌德尼·尤尔（Udny Yule，1871-1951）。尤尔写了一些关于时间序列的论文，颇具影响力。他提出从等间隔时间的测量数据中理解数据。在时间序列的许多问题中，变量不和时间相关，而是和时间序列的滞后变量相关。观察的差分值也是和同一时间序列的滞后变量的差分值相关。尤尔是皮尔森的学生，然而他更关注数字背后的隐藏现象，对数据分析得出的结论加以批判性的态度，这是皮尔逊所缺乏的，因此两人对统计问题的处理方法和解释常常意见不一。尤尔曾经在剑桥大学教了20年统计学。
　　乌德尼·尤尔
　　统计学方法的另一位重要先驱是罗纳德·艾尔默·费舍尔（Ronald Aylmer Fisher, 1890-1962），他鼓励使用数学模型来研究遗传学和进化。1935年，他写了一本名为《实验设计》（ The Design of Experiments ）的书，书中讨论了今天所谓的块设计（block designs）和平衡不完全块设计在农业生产和其他场景下的应用。在这些实际问题中，人们希望将影响研究结果的随机性最小化。因此，采用块设计进行的产量试验研究中，人们可以通过种植不同品种的植物来＂校正＂田间不同区域的肥力差异。费舍尔还探讨p值与各种统计检验的结合使用，而且几乎可以肯定的是，他会对那些声称获得＂显著＂结果的盲目做法感到震惊，因为那些糟糕的实验设计中，计算得到出结果的p值很小。
　　罗纳德·艾尔默·费舍尔
　　在＂主观＂之下思考
　　当一群学者为了从数据中提取信息而发展统计检验程序时，另一群更倾向于数学的人正在尝试着为概率论的现实应用理清理论基础，毕竟在诸多情况下，算清楚事件概率十分有价值。这些人来自不同国家，职业也各不相同。大致来说，这些人在某种所谓＂主观（subjective）＂的视角下思考概率，而不是用＂频率主义者（frequentist）＂的观点。另一方面，在某些情况下，当 ＂实验＂的重复次数增加时，直觉地将概率视为相对频率的＂稳定＂值是有道理的。但有时这种逼近概率的方法是不可接受的。因此也有一群概率学家认为概率就是＂相信程度（degrees of belief）＂，但并不是所有采用这种观点的人完全同意＂概率＂或＂相信程度＂的意义。
　　弗兰克·拉姆齐（Frank Ramsy，1903-1930)以组合学的拉姆齐定理（Ramsey＂s theorem）而闻名，他也写了一系列关于概率论和效用论的重要论文（1926）。他提出了关于概率和在不确定性下决策的观点，这些现在通常被描述为＂贝叶斯方法＂。拉姆齐的研究为概率论带来了非凡的创造力，但令人遗憾的是他在非常年轻的时候就去世了。
　　弗兰克.拉姆齐
　　布鲁诺·德菲内蒂（Bruno de Finetti，1906-1985）也发展了＂主观＂的、基于相信程度的概率概念。德菲内蒂出生于奥地利，但他的大部分职业生涯都是在意大利度过的。
　　布鲁诺·德菲内蒂
　　那些强调概率主观方法的人中，最有影响力的人可能是莱纳德·吉米·萨维奇（Leonard Jimmie Savage，1917-1971）。萨维奇写了大量关于统计学基础的文章，并在博弈论和决策制定中应用了他关于主观概率的观点。萨维奇提出了关于做决策时候使用后悔程度最小/最大的想法。为了量化玩家在游戏中的不同行为，一般我们都会用玩家的收益去计算，但是他的想法却是用了（玩家的）后悔程度。如果对于一个特定的自然状态下，玩家没有选择可获得的最优行为，而是其他行为，两者的结果会发生什么差异呢？对于自然状态N，如果一个行为A取值为-3，那么对于同样的状态N，有一个不同的行为可以取值为5，那么选择行为A的遗憾值为8。对于任何一种自然状态，最佳行为的遗憾值是0。在将统计学和博弈论结合的工作中，萨维奇和包括米尔顿·弗里德曼（Milton Friedman）在内的等许多经济学家一起合作。
　　莱纳德·吉米·萨维奇的照片
　　最近，在心理学、医药研究，以及其他能通过应用统计方法来增加我们见解的领域，人们重新开始关注进行假设检验的＂公式化＂的方法。一些人认为，p值的使用是一种僵化的方式，并不总能产生其他研究人员可以复制的结果。统计学家安德鲁·格尔曼（Andrew Gelman）和哲学家黛博拉·梅奥（Deborah Mayo）两人各自运营的博客（Statistical modeling, Causal Inference and Social Science和Error Statistics Philosophy）会定期探讨这些问题。
　　最重要的是，有一个可靠的水晶球来了解现在和将来将是一件妙不可言的事。数学家、统计学家和其他学者，正在努力为我们带来更美好的未来。
　　参考文献
　　[1] Beniston, M,, From Turbulence to Climate: Numerical Investigations of the Atmosphere with a Hierarchy of Models, Springer, Berlin, 1998.
　　[2] Daston, L., Classical Probability During the Enlightenment, Princeton U. Press, Princeton, 1988.
　　[3] Falk, R., and M. Bar-Hillel, Probabilistic dependence between events. The Two-Year College Mathematics Journal. 14 (1983) 240-7.
　　[4] Falk, R., Conditional probabilities: insights and difficulties. In Proceedings of the Second International Conference on Teaching Statistics 1986, pp 292-297.
　　[5] Falk, R., Misconceptions of statistical significance. Journal of structural learning. March, 1986.
　　[6] Gelman, A. and J. Carlin, H. Stern, D. Rubin, Bayesian Data Analysis (2nd edition), Chapman & Hall/CRC, Philadelphia, 2003
　　[7] Hacking, I., The Emergence of Probability, Cambridge U. Press, New York, 2006.
　　[8] Hald, A., A History of Mathematical Statistics from 1750 to 1930, Wiley, New York, 1998.
　　[9] Hald, A., A History of Probability and Statistics and Their Applications Before 1750., Wiley, New York, 2003.
　　[10] Mayo, D., Experimental Knowledge, University of Chicago Press, Chicago, 1996.
　　[11] Mayo, D., Error and Inference: Recent Exchanges on Experimental Reasoning, Reliability, and the Objectivity and Rationality of Science, Cambridge University Press, New York, 2010.
　　[12] Roulstone, I. and J. Norbury, Invisible in the Storm: the role of mathematics in understanding weather, Princeton U. Press, Princeton, 2013.
　　[13] Stigler, S., The History of Statistics: The Measurement of Uncertainty Before 1900, Harvard U. Press, Cambridge, 1990.
　　[14] van Plato, J., Creating Modern Probability: Its Mathematics, Physics and Philosophy in Historical Perspective, Cambridge U. Press, New York, 1994.
　　扩展阅读：
　　让概率来帮我们预测未来——数学与水晶球（上） | 返朴
　　吴孟超：用一生为理想去奋斗 丨返朴
　　一篇论文被预印本文库两次拒绝，什么时候发论文这么难了？！| 返朴
　　提升科研人员的幸福感，从改写科学新闻标题开始 | 返朴
　　背景简介： 文章2021年5月31日发表于微信公众号  返朴 （概率论和统计学中的巨匠——数学与水晶球（下）），风云之声获授权转载。