AI改变天气预报，90分钟后降雨量1秒算出DeepMind论文登Nature

　　谷歌母公司 Alphabet 旗下顶级英国 AI 研究机构 DeepMind 又放大招了。
　　此次 DeepMind 聚焦天气预报这一重大挑战，与英国气象局合作将 AI 应用于预测降雨 ，能比现有预测模型更准确地预测未来 1-2 小时内的降雨量。
　　▲ DeepMind 的 AI 模型提前 90 分钟预测天气事件
　　根据论文，DeepMind 采用深度生成模型来实现精准降雨预测，使用 NVIDIA V100 GPU，该模型只需 1.3 秒即可生成一个全分辨率的临近天气预测样本 。
　　DeepMind 研究团队称，气象专家经评估表示，比起传统方法，他们普遍更看好 DeepMind 提出的新 AI 模型，这为利用 AI 大大改善准确度的新天气预报方法铺平了道路。
　　这项研究刚刚发表于顶级学术期刊 Nature 上，题目为《用雷达深度生成模型进行有技巧的降雨临近预报》，论文对模型、数据和验证方法均进行了系统梳理及讨论。
　　此外，DeepMind 已将训练数据及一个预训练的英国模型传至 GitHub。
　　链接：https://dpmd.ai/github_nowcasting现代天气预报的棘手问题，2 小时内精准预测天气
　　＂今天晚上要下雨，记得带伞！＂像这样围绕天气话题的讨论和叮嘱，在人们的聊天中相当常见。
　　小到生活日常，大到灾害预防，都需要天气预报越早越好、越来越准确。但直至今日，预测降水降雨量，仍是气象学家面临的重大挑战。
　　在中世纪，气象学家首先使用恒星进行预测。慢慢地，记录季节和降雨模式的表格开始保存。几个世纪后，英国物理学家兼数学家刘易斯・弗莱・理查森设想了一个＂预测工厂＂（Forecast Factory），使用计算和大气物理方程来预测全球天气。
　　如今，在天气预报系统中，DeepMind 添加了＂机器学习＂这一新元素。
　　现代天气预报是由数值天气预报（NWP，numerical weather prediction）系统驱动的。通过求解物理方程，NWP 能做到提前几天预测未来天气。这类方法通常在预测 6 小时到 2 周后的天气时准确度很好，但在预测 2 小时内的天气时准确度会下降。
　　现在，临近预报填补了这个关键时间间隔的性能差距 。
　　临近天气预报对于水管理、农业、航空、应急计划和户外活动等部门至关重要，支持了许多依赖天气决策的行业的现实社会经济需求。
　　天气传感技术的进步使测量地面降水量的高分辨率雷达数据能够以高频率提供（如每 5 分钟 1 公里分辨率）。现有方法难以解决的关键领域和高质量数据的可用性的结合，为机器学习在临近预报中做出贡献提供了机会。
　　近年来，已有几种基于机器学习的方法问世，他们在雷达观测的大数据集上训练，目的是更好地模拟强降雨和其他难以预测的降雨现象。例如，谷歌与美国国家海洋和大气管理局（NOAA）合作研究可能注入 NOAA 企业的机器学习系统，微软还出资从历史数据中识别重复的天气和气候模式，以改进次季节性和季节性预测模型。临近预报的深度生成模型，准确性和实用性均排名第一
　　DeepMind 专注于预测临近降雨量：提前 2 小时预测降雨的数量、时间和地点。
　　研究人员采用一种类似于 GAN 的深度生成模型方法 DGMR ，以过去的雷达数据为基础，对未来的雷达作出详细和可信的预测。
　　从概念上讲，这是一个生成雷达影像的问题。降雨深度生成模型 DGMR 学习了数据的概率分布，描述随机变量可能获得的所有可能值，以从其学习的分布中生成＂临近预报＂。
　　有了这些方法，研究团队既可以准确地捕捉到大规模的降雨事件，同时也可以产生许多替代的降雨情景（也称集成预测 ensemble prediction），从而探索降雨的不确定性。研究期间，研究团队使用了英国和美国的雷达数据。
　　在训练过程，研究团队通过比较 CPU（10 核心 AMD EPYC）和 GPU（NVIDIA V100）硬件的速度来评估采样速度，发现生成每个样本，CPU 所用平均时间为 23.7 秒，GPU 为 1.3 秒。
　　▲ 利用过去 20 分钟的观测雷达资料，用降雨深度生成模型（DGMR）提供未来 90 分钟的概率预测。
　　DeepMind 团队在博客中提到：＂我们特别感兴趣的是这些模型对中到大雨事件的预测能力，这些事件对人们和经济的影响最大。＂他们展示了与竞争方法相比，这些模型在统计方面的显著改进。
　　为了验证 DGMR 生成预测结果的精度，研究团队准备了 2 个现有降雨预测模型，分别隐藏模型名，请英国国家气象局的 56 名气象预报专家来评估。
　　与其他主流临近预测方法相比，DGMR 对 1536 公里乘 1280 公里的区域做出了更现实、更一致的预测，提前 5~90 分钟进行预测 。
　　＂与广泛使用的临近预报方法相比，他们（56 名气象专家）在 89% 的案例中将我们的新方法评为他们的首选，这体现我们的方法有能力为现实世界决策者提供洞察力。＂DeepMind 研究人员写道。相对于另外两种竞争方法，DGMR 在准确性和实用性评估方面排名第一。
　　如图所示，下图左上角为观测到的实际雨云的移动，右上是 DGMR 模型生成的预测结果，相比降水强度过高的对流方法（PySTEPS）和模拟结果模糊的确定性深度学习方法（UNet），DGMR 能更好地捕捉环流、强度和结构，并更准确地预测东北部的降雨量和运动，同时生成清晰的预测。
　　▲ 2019 年 4 月英国上空的一个具有挑战性的事件（目标是观察到的雷达）
　　论文提到：＂我们证明，生成式临近预报可以提供概率预测，提高预测值，支持运营效用，并在解决方案和交付时间方面，替代方法难以做到。＂
　　▲ 2019 年 4 月美国东部的一次大降水事件（目标是观测到的雷达）。生成方法 DGMR 平衡了降水强度和程度，相比之下，PySTEPS 方法的强度往往过高，UNet 的结果相对模糊。
　　天气预报往往受多重因素影响，也许一个预测对了降雨位置但算错强度，另一个预测在错误的位置预测对了强度等。在这项研究中，研究人员付出了很多努力，根据广泛的指标来评估其算法。
　　DeepMind 研究人员称，DGMR 可以预测由于潜在的随机性而本质上难以追踪的天气事件，还可以像调整任务的系统一样准确地预测降雨的位置，同时保留对决策有用的属性。下一步计划：提高长期预测准确性
　　通过使用统计、经济和认知分析，DeepMind 展示了一种新的、有竞争力的雷达降雨临近预报方法。
　　＂建模复杂现象、快速预测和代表不确定性的能力使 AI 成为环境科学家的强大工具。＂DeepMind 高级专职科学家 Shakir Mohamed 说。
　　他认为尽管现在还为时过早，但这次试验表明，AI 能让预测人员不必将时间耗费在不断增加的预测数据堆里，而是专注于更好地了解其预测的影响。＂这将是减轻当今气候变化不利影响、支持适应不断变化的天气模式并可能拯救生命不可或缺的一部分。＂
　　不过，任何方法都有局限性，需要做更多的工作来提高长期预测的准确性和对罕见和激烈事件的准确性 。
　　因此研究团队计划在未来的工作中，开发更多的评估性能的方法，并进一步将这些方法专业化，以适应具体的现实应用。
　　DeepMind 研究人员相信，这是一个令人兴奋的研究领域，他们希望这篇论文能为新的工作提供数据和验证方法，使提供有竞争力的验证和操作效用成为可能。
　　他们还希望与英国气象局的合作将促进机器学习和环境科学的更大整合，并更好地支持应对气候变化的决策。结语：DeepMind 用 AI 破解，科学难题的又一突破
　　AI 和数据分析的价值正更多渗透到天气预报领域。去年年初，华为云与深圳市气象局合作，采用 AI 方法将预测准确率提高 10%~20%。借助 AI 及大数据，国内的彩云天气应用、苹果去年 4 月收购的第三方天气应用 Dark Sky 均实现了分钟级的降雨预测，预测准确度还在不断提升。
　　Facebook 首席 AI 科学家 Yann LeCun、知名 AI 科学家吴恩达均曾表示，缓解气候变化和促进能源效率对于 AI 研究人员来说是值得的挑战。
　　环境科学和 AI 之间的合作侧重于决策者的价值，为临近预报降雨开辟了新渠道，也体现出 AI 在不断变化的环境中支持应对决策挑战的机会。
　　从去年发布破解蛋白质折叠难题的 AI 蛋白质预测模型 AlphaFold，到如今 AI 降雨预测模型 DGMR 再登 Nature，DeepMind 的 AI 研究正愈发展现出解决关键科学问题的实际应用价值。