文 | 张超 在你做双11＂尾款人＂的时候，可能永远想象不到，拇指点击提交订单的瞬间，这笔交易就以朴素的二进制编码，迅速传输到了远方的某个数据中心，需要数万台服务器瞬间提供计算支持。 只要有计算，就会带来能耗。 2005年，阿里平台上每10笔电商交易的能耗，可以用来煮熟4个鸡蛋；2015年，每10笔电商交易的能耗，只够煮熟1个鸡蛋。 今年双11，由于阿里工程师们大规模采用了为数据中心服务器＂泡澡＂散热的黑科技，每10笔电商交易的能耗，只够煮熟1个鹌鹑蛋了。 阿里数据中心服务器＂泡澡＂散热的黑科技 千万别小瞧了从4个鸡蛋到1个鹌鹑蛋的进步。 2018年，我国数据中心总用电量为1608.89亿千瓦时（度），几乎是三峡大坝全年发电量（847亿千瓦时）的两倍。 截至2019年，我国数据中心用电量已连续8年以超过12%的速度增长，据国网能源研究院预测，今年我国数据中心整体用电量将突破2000亿千瓦时，到2030年将突破4000亿千瓦时。 当数据中心逐渐成为我国能耗大户，4个鸡蛋到1个鹌鹑蛋的进步，不仅意味着未来更廉价的算力，对完成减能减排目标更是意义重大。数据中心制冷系统太耗能 自数据中心诞生的那天起，高能耗仿佛就是一种＂原罪＂。 IT设备、制冷、配电系统，全部24小时运转全年无休，个个都是电老虎，尤其IT设备和制冷系统，大约各占数据中心总能耗的40%。 要判断一个数据中心的能耗水平，就看一项关键指标——PUE指数。 PUE全称＂Power Usage Effectiveness（平均电能使用效率）＂，是指数据中心总设备能耗/IT设备能耗。 PUE值越小，能效水平就越好，PUE值越接近1，就表明数据中心的能耗，大部分用于服务器、网络设备、存储设备。 要减少非IT设备能耗，就必须从降低制冷系统能耗下手，而且降低能耗的同时，还不能影响制冷效果，因为对数据中心来说，制冷降温从来都是头等大事。 就像手机电脑用久了会发烫，一枚公版GPU芯片，一旦满负载运行任务，温度会迅速飙升到85 ，甚至可以用来烤肉；服务器CPU芯片，工作状态下表面温度也能达到60-70 ，必须用20 左右的空调冷风一直吹，才能让芯片温度维持在50 左右。 通常，服务器要求温度保持在18 到27 之间，当数以万计的芯片同时开工，排放出大量废热，数据中心必须配置大型制冷系统，快速吞吐冷热空气。 否则，机房温度有可能在1分钟之内就飙升到50 以上，一旦引发服务器停机，后果不堪设想。 为自然降温去北极下深海 为了有效降低制冷系统能耗，全世界科技巨头大开脑洞，试着将数据中心放到大自然的冰箱中去，目前比较成功的尝试，主要集中在海水冷却和自然风冷。 谷歌哈米纳数据中心 2011年，谷歌在芬兰哈米纳市建立了海水冷却数据中心，冷海水经管道泵进数据中心热交换器中，吸收服务器热量后排回大海。 用海水冷却 谷歌称，哈米纳数据中心的PUE为1.14。 今年9月，微软在苏格兰奥克尼岛附近捞起一个沉在海底35.6米处的数据中心，这是一项为期两年的实验，同样是利用深层冷海水为数据中心散热，经微软验证，水下数据中心的PUE只有1.07。 微软海底数据中心 Facebook则于2011年在瑞典吕勒奥镇架设了第一个海外数据中心，此处距离北极圈只有100多公里，冬季平均气温为零下20 ，冷空气经简单过滤，就能为服务器降温，据说该数据中心PUE为1.04。 Facebook瑞典吕勒奥镇数据中心 作为中国云计算领头羊，阿里巴巴也在推进数据中心自然制冷方面下过苦功。 2015年，阿里巴巴在千岛湖建立数据中心，利用湖水自然冷却为服务器降温，年平均PUE低于1.3，最低可达1.17。 阿里巴巴千岛湖数据中心 2016年，阿里巴巴在河北张北县启用新数据中心，当地全年平均气温2.3 ，数据中心采用新风自然冷散热方案，年均PUE为1.25，最低可达1.13。 外加张北拥有丰富的风能和太阳能资源，阿里云张北数据中心绿色能源使用率已超过50%，实际节约标煤3万吨，相当于种植了150万棵树木。 阿里巴巴张北数据中心数据中心选址陷两难 越来越多的科技巨头，将数据中心安置去严寒地区，随后却发现了新的问题。 随着5G、AI、云计算、物联网等新技术兴起，如自动驾驶等应用场景对网络时延的要求越来越苛刻，新建的数据中心在选址时，必须考虑缩短与用户之间的距离，尽可能靠近人口密集的城市地区，否则就不得不付出额外的成本。 比如数据中心产业发达的芬兰，为了确保网络低延迟和数据连通性，芬兰政府联手特利亚电信等公司，专门架设了芬兰到中欧的海底光缆，付出了十分高昂的代价。 工人们正在铺设海底光缆 欧洲数据中心服务商Interxion也发现，虽然寒带地区可以获得廉价能源和自然冷却，但并不适合所有数据中心。 Interxion自己也是反复衡量之后，最终放弃了北欧，而是选择在西班牙马德里继续扩建其数据中心。 Interxion马德里数据中心 尽管，从用电成本来看，马德里是个非常糟糕的选择——因为西班牙工业用电成本位居欧洲前列，电价几乎是瑞典的两倍。 可是从地理位置上看，马德里在伊比利亚半岛的位置却无与伦比，多条连接欧洲、美洲、非洲的海底光缆在此交集，欧洲很多企业的数据中心和电信节点也都建在马德里。 2017年9月，Facebook和微软在美国和西班牙建立的海底光缆＂Marea＂投用 到底选择中心城市和大量人口，还是选择低温低能耗，Interxion权衡利弊，最终还是选择了前者。阿里布局降温黑科技 既要节能环保，又要靠近人口密集区，这就好比既要马儿跑得快，又要马儿不吃草，数据中心选址陷入两难。 有没有一种方案可以两全其美？ 阿里巴巴坚信有，所以从2015年开始，就开始探索一种全新的制冷技术——浸没式液冷技术。 阿里巴巴液冷技术 这项技术的原理说起来挺简单——空气的比热容和液体相比差了几千倍。 这便意味着，需要1000立方空气（风冷）散去的热量，换做液体，可能只需要1个立方。 然而，电子元器件最怕进水，如果把服务器直接浸没在液体中，就要考虑液体是否绝缘，有没有腐蚀性，在高温下是否会挥发出有毒气体…… 总之，原理看似简单，操作起来困难重重。 ＂早几年的时候，全球没有一家大规模部署液冷服务器集群的企业，也没有成熟的液冷技术，那是因为现实需求不高。＂ 阿里云基础设施事业部架构工程师钟杨帆说，过去服务器功耗普遍较低，单个CPU功率在200瓦以下，当时的制冷技术完全够用，再加上液冷技术有一定革命性，研发难度很大，各大企业都没有动力去创新。 阿里张北数据中心工程师在冷冻机房巡查管道 然而，阿里巴巴预判，随着AI、大数据等高性能计算兴起，下一代服务器CPU功率超过300瓦、甚至400瓦，几乎是板上钉钉的事，所以浸没式液冷技术哪怕再难，也必须将其攻克。液冷技术节能超过七成 2017年云栖大会，阿里巴巴正式对外展示全浸没液冷服务器集群——麒麟。 麒麟无需风扇或空调等大型制冷设备，可在任何地方部署，而且单位体积内的计算能力，较过去提升了10倍。 2018年，阿里巴巴首次将浸没式液冷服务器商业化，部署在张北阿里巴巴冬奥云数据中心，去年正式投入双11服务支持。 今年9月，阿里云杭州仁和数据中心启用，上线整栋液冷云数据中心，浸没式液冷服务器集群规模预计将达到张北数据中心的10倍。 阿里巴巴仁和数据中心 钟杨帆介绍，在杭州数据中心，浸没式液冷服务器置于一个个箱体之内，每个箱体大约2.6米长、0.8米宽、1.2米高，里面有48台服务器、3台交换机，全部浸没在约800升、共计1.5吨的绝缘无腐蚀性冷却液中。 冷却液吸收IT设备产生的热量，通过温度、流量控制后，流经自然冷却系统形成高效散热，不再使用风扇和空调等低效散热系统，散热能耗却趋近于0，整体节能可达70%以上。 服务器箱体常年密闭，冷却液平时几乎没有损耗，每年损失少于1%。即使电子元器件浸没在冷却液中20年，液体成分和电子设备品质都不会发生变化，极大延长了设备使用寿命。 经过计算，阿里云杭州数据中心的浸没式液冷服务器集群PUE最低可达到1.07，年均PUE可达1.09，放眼全球都是顶尖水平。 相比传统数据中心，阿里云杭州数据中心可每年省电7000万度，相当于西湖周边所有路灯连续点亮8年的耗电量。双11一天能省20万度电 今年天猫双11的电商交易支付、物流等环节，由张北、乌兰察布、河源、南通、杭州等五大超级数据中心合力支撑。 在杭州数据中心内，有上万台液冷服务器投入生产处理双11的海量计算工作，这也是全球唯一投入大规模部署的液冷服务器集群。 在新一代绿色＂黑科技＂的加持下，如今每一万笔电商交易的耗电量，已经控制在2度电以内，这意味着仅今年天猫双11一天，就能为社会节省超过20万度电的能耗量。 近十亿剁手党们在消费的同时，还创造着史上最绿色环保的双11。 在攻克浸没式液冷技术的过程中，阿里工程师还设计出一套适合浸没液冷的监控管理系统，将故障率降低了50%，AI机器人、智能运维等技术也逐渐大规模使用。 机器人在工作 今年双11，阿里云数据中心的巡检机器人＂天巡＂升级到了第二代，不仅实现了无＂人＂值守，还可全自动更换故障硬盘：自动巡检——故障盘定位——取盘换盘——硬盘通电，整个动作一气呵成，只需4分钟即可完成更换动作。 阿里云自研的智能检测系统可以做到1分钟发现、1分钟定位、分钟级恢复，通过技术手段实现了从故障预测、故障诊断到故障修复的系统化、自动化流程，最大程度提升维修效率。 张北数据中心机房 阿里云表示，未来还将在华东、华南、华北等对能耗要求高、高温高湿区域继续推行浸没式液冷解决方案，重构传统数据中心。让其他人摸着阿里过河 在阿里巴巴这些年的带动下，浸没式液冷技术也逐渐为业内认可，国外如微软、谷歌等公司都已成立实验室研究这一技术。 不过，对承诺2060年前力争实现碳中和的中国而言，浸没式液冷技术的价值更是不言而喻。 2019年2月，工信部、国家机关事务管理局、国家能源局发布《关于加强绿色数据中心建设的指导意见》，提出到2022年，数据中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的电能使用效率值达到1.4以下。 而国家能源局数据显示，今年上半年，由于依托大数据、云计算、物联网等新技术的服务业发展势头强劲，互联网数据服务业用电量同比激增71.6%。 假如，未来全中国所有服务器都采用浸没式液冷技术，每年将节省超过800亿度电，接近三峡大坝一年的发电量。 然而，液冷数据中心的背后，是巨大创新和革命性变化，硬件与系统的变更，需要大量人力和物力投入，当前这个领域几乎空白，没有标准可以借鉴。 张北数据中心建设变迁 为此，已经趟了5年路的阿里巴巴，已向社会开源了整套规范，涵盖了数据中心的设计、施工、部署、运维等各个环节，这样一来，其他数据中心可以避开阿里5年来走过的弯路，直接驶入高效、清洁、集约的绿色发展道路。 ＂经历了10年技术创新迭代与开放，阿里巴巴数据中心已经完成了从自研服务器架构到智能运维体系的全方位技术布局，除了支撑双11之外，这些双11的同款技术，也将通过阿里云支撑全社会，成为数字新基建的基础设施。＂阿里巴巴副总裁、阿里云基础设施负责人周明说。 参考资料： The Register：Super cool: Arctic data centres aren＂t just for Facebook The verge：Mark Zuckerberg shares pictures from Facebook＂s cold, cold data center Web24 News：Bunkers, under the sea or in the Arctic, where are the data centers of Amazon, Google or Facebook? CNBC：Water has become a big issue for Big Tech. But Microsoft has a plan El Confidencial：Cómo se está evitando que Apple, Facebook o Google se coman la electricidad del mundo