国家超级计算无锡中心副主任基于神威太湖之光的非线性地震模拟

　　导读：国家超级计算无锡中心副主任、清华大学付昊桓教授在ISC18 HPCC Workshop上做了《基于＂神威·太湖之光＂的非线性地震模拟》主题分享。同时插播个专场预告。2021年1月6日晚7点， NVIDIA GPU 加速科学计算专场将正式开讲，由上海交通大学计算机系硕士研究生胡航带来直播讲解，主题为《宇宙学N体模拟在异构计算平台的移植和优化研究》。扫描文末海报二维码即可报名，并加入本次专场的主讲群。高性能计算是智东西公开课策划推出的NVIDIA专场的重点关注技术领域之一。为了便于大家学习和了解，我们整理了【NVIDIA专场高性能计算课件合集】。在本公众号【智东西公开课】后台回复关键词 HPC08  即可获取本文完整演讲PPT以及【NVIDIA专场高性能计算课件合集】。
　　以下为演讲正文：
　　很多人曾问我是否可以像预测天气一样预测地震的发生。我们可以通过大气模拟对未来天气进行预报或预测，但是对于地球，我们知道人类能够直接测量的最深处只有10公里，还不到地壳结构的1％，因此地震预测仍然处于困难的阶段。
　　一、动机与现状
　　地震仍然是人类社会最重要的自然灾害之一。
　　该图显示了2008年汶川地震前后卫星图像的比较。正如所见，河流和山脉完全位移，山脚下的大部分城镇被摧毁。
　　河流改道甚至造成洪水泛滥，形成堰塞湖。
　　中国有23个地震带，高强度地震带（7级以上）约占国土面积的50%。
　　20% 主要运输线路处于地震带
　　21% 人口处于地震带
　　25% 水电站项目处于地震带
　　30% 大型矿场处于地震带
　　我们的终极梦想是地震数值预测。当我们在神威·太湖之光上开始这个地震模拟项目时，如果想同时预测三个关键要素（时间、地点和震级），将非常困难。但如果解决只涉及部分要素的亚问题，可行性将大幅提升，而且对抗震救灾仍具有重要的意义。
　　影响深远的亚问题示例
　　余震预测
　　识别位置，预测时间和震级
　　比地震预测容易，但仍未解决
　　区域地震危险性分类
　　没有时间限制，针对地震定位和震级
　　危险性长期评估
　　基于情景模拟的地震危险性预测（针对人口稠密和重要基础设施）
　　基于场景设计（指定位置且时间无关）
　　准确预测震级和危害分布
　　二、主要挑战
　　典型地震模拟设置
　　内存挑战
　　三、我们的贡献
　　我们的地震模拟框架
　　三级域分解
　　基于DMA的内存模型
　　DMA及缓存定制方案
　　1）数组融合
　　2）通过寄存器进行halo交换
　　3）并通过分析模型指导优化模块配置
　　压缩以获得更多性能
　　四、性能和模拟结果
　　从1个MPE（管理处理元件）切换到64个CPE（计算处理元件）时，速度提高20~40倍
　　存储带宽利用率为60%～79%
　　弱可扩展性
　　五、概述和展望
　　2017年：非线性地震模拟
　　该内存方案可以解决内存带宽的约束，并实现15.2 Pflops的非线性地震模拟
　　即用即压方法可进一步将性能提升至18.9 Pflops
　　汶川地震的模拟：挑战
　　汶川地区覆盖640公里×640公里×100公里的三维域，大约是唐山地震模拟域的8倍。
　　该地区复杂的地质特征（超过7000米的海拔变化）使得准确描述地表拓扑的能力非常重要。
　　曲线FDM（有限差分）方案
　　对于问题大小和机器的可用资源的特定设置，通常很难识别最佳配置参数。导出合适的配置来有效地模拟汶川地震。
　　地震模拟面临的一个严峻挑战是需要为每个网格点处理大量变量。对于AWP-ODC线性和非线性版本，每个网格涉及30到40个变量。在我们的曲线网格FDM中，每个网格的变量数量进一步增加到50以上。考虑到神威的DMA特性，我们原有工作中提出的共址阵列融合策略是有效提高DMA带宽利用率的常用方法。然而，共同定位的阵列融合策略限制了融合阵列集共享完全相同的读写模式。某些变量（如密度（ρ））与其他变量无关，因此导致了非常糟糕的DMA带宽和计算效率，因为共址阵列融合技巧对它们不起作用。对于这些不同的变量集，我们提出了这些变量的布局转换方案，从而有效地改善DMA带宽。
　　为了验证波场模拟过程中地形效应的影响，我们进行了比较验证。我们通过设置均匀介质和点源（1Hz）来消除介质和源的影响，因此我们只能关注地形效应。如（a）和（b）所示，可以看出复杂的地形引起更多的高频散射波，对地震波场的模拟有很大的影响。可以得出结论，地形在汶川地震模拟中的作用不容忽视。
　　未来工作：搭建地震动与建筑及山体滑坡模拟耦合的完整系统。