与时俱进高性能计算超大规模和边缘计算的冷却技术

　　冷却技术：百花齐放的时代
　　Cooling：There’snolongeroneanswer
　　译者说
　　风冷到液冷，精密空调到风墙末端，数据中心的冷却系统不断发生变化。冷却技术百花齐放的背后，是节能降耗的驱动，是超密机柜的需求，也是边缘数据中心等新型数据中心兴起的推动。
　　数据中心越来越相似，但是设施冷却技术却越来越不同，多种技术可以实现冷却。
　　Datacentersusedtobeuniform。Todaytherearemanydifferentkindsoffacilitiesandanarrayoftechniquestokeepthemcool。
　　2020年12月，当日本巨头NTT在伦敦设立数据中心时，一件大设备不见踪影。要是放几年前，数据中心经理会惊讶于达格纳姆32MW的数据中心大楼没有空调装置。
　　InDecember2020，whenJapanesegiantNTTopenedadatacenterinLondon，onebigitemofequipmentwasmissing。Datacentermanagersfromafewyearsagowouldhavebeensurprisedtoseethe32MWbuildinginDagenhamhasnoairconditioningunits。
　　过去的几年里，关于数据中心冷却方式的旧共识已不复存在，新的变化迎面而来。
　　Inthelastfewyears，theoldconsensusonhowtocooladatacenterhasgone。Andtherearefurtherchangesontheway。
　　最新的冷却技术消除了对压缩机和制冷剂的需求。NTT全球数据中心EMEA设计与工程高级副总裁，SteveCampbellFerguson在达格纳姆的虚拟发布会上说。
　　Thelatesttechnologyremovestheneedforcompressorsandrefrigerants，saidSteveCampbellFerguson，SVPdesignandengineeringEMEAforNTTGlobalDataCentres，atthevirtuallauncheventoftheDagenhamfacility。
　　这并不是第一个以这种方式建造的数据中心。2015年，DigitalRealty声称其为Rackspace建造的6MW伦敦大楼是英国第一个取消机械制冷的数据中心。
　　Thiswasnotthefirstdatacenterstobebuiltthisway，byalongchalk。In2015，DigitalRealtyclaimedthata6MWLondonfacilityitbuiltforRackspacewasthefirstintheUKtohavenomechanicalcooling。
　　运营商希望朝这个方向发展的原因很简单。数据中心设计师希望减少从IT负载中移除热量所需的能耗。在节能问题备受关注之前，数据中心是用空调设备制冷的，这些空调设备能耗可能与IT机架本身能耗一样多。
　　Andtherearesimplereasonswhyoperatorsshouldwanttomoveinthatdirection。DatacenterdesignerswanttoreducetheamountofenergyspentremovingheatfromtheITloadinthebuilding。Beforeenergyconservationwasabigconcern，datacenterswerebuiltwithairconditioningunitswhichcouldconsumeasmuchenergyastheITracksthemselves。
　　21世纪，这种浪费的能源成为一个关键问题，运营商们希望尽可能地将空调能耗减少到零，从而使PUE值达到1。0。用更多的被动冷却技术取代空调机组是实现这一目标的一种方法，可以将制冷能耗减少80左右：NTT承诺今年的PUE值为1。2，而Rackspace在五年前就宣称该值为1。15。
　　Inthe21stcentury，thiswastedenergybecameakeyconcern，andbuildersaimtoreduceitasclosetozeroaspossible，drivingtowardsaPUEfigureof1。0。Replacingairconditioningunitswithmorepassivecoolingtechniquesisonewayofdoingthat，andcanreducetheenergyusedincoolingbyaround80percent：NTTpromisedaPUEof1。2thisyear，whileRackspaceclaimed1。15fiveyearsago。
　　这一变化不仅减少了能源消耗：它还减少了建筑中隐含能源和材料的用量，以及制冷剂的使用，而这些制冷剂本身就是强效温室气体。
　　Thechangedoesnotjustreduceenergyconsumption：italsoreducestheamountofembodiedenergyandmaterialsinthebuilding，andalsocutstheuseofrefrigerantswhicharethemselvespotentgreenhousegases。
　　被动式制冷的选择并非能在世界各地都起作用：在温暖或潮湿的气候中，一年中会有大量的日子需要制冷机。
　　Thisoptiondoesn’tworkeverywhereintheworld：inwarmorhumidclimates，therewillbealargenumberofdaysintheyearwhenchillersareneeded。
　　但这里有一个原则。在本世纪初，人们认为只有一种方法可以让数据中心实现冷却：机械式制冷机把冷空气传送到封闭的设备机柜中带走热量。现在，这个假设被打破了。
　　Butthere’saprinciplehere。Atthestartofthecentury，itwasassumedthattherewasonewaytokeepadatacentercool：mechanicalchillersdrivingcoldairthroughcontainedracksofequipment。Now，thatassumptionisbrokendown。
　　（数据中心冷却方式的变化）除了为了提升数据中心能效以外，还有另一个原因：数据中心不再趋于一致，数据中心的类型不尽相同，且需求各异。
　　Alongwiththedrivetomakedatacentersmoreefficient，there’sanotherreason：datacentersarenolongeruniform。Thereareseveraldifferentkinds，andeachonehasdifferentdemands。
　　我们所说的托管数据中心在减少或消除机械冷却方面有一条行之有效的途径，但需要采取一些额外的步骤。
　　Colocationspaces，aswedescribed，haveawellestablishedpathtoreducingorremovingtheuseofmechanicalcooling，butthereareotherstepstheymayneedtotake。
　　也有一些新的数据中心空间类型出现，它们对于冷却的需求各不相同，下面举几个例子看一下。
　　Therearealsonewerclassesofdatacenterspace，withdifferentneeds。Let’slookatafewofthese。
　　高性能计算
　　HighPerformanceComputing（HPC）
　　超级计算机曾经是罕见的猛兽，但现在对高性能计算的需求越来越多。这种计算能力存在于现有的数据中心中，它提高了IT密度以及散热量，有时超过100kW机柜。
　　Supercomputersusedtoberarebeasts，butnowthere’sabroaderneedforhighperformancecomputing，andthiskindofcapacityisappearinginexistingdatacenters。It’salsopushingupthedensityofIT，andtheamountofheatitgenerates，sometimestomorethan100kWperrack。
　　考虑到效率，数据中心运营商不想让设备处于过冷状态，因此想要增加几个这种容量的机架，数据中心是无法提供足够冷量的。
　　Withefficiencyinmind，datacenteroperatorsdon’twanttoovercooltheirfacilities，sotheresimplymaynotbeenoughcoolingcapacitytoaddseveralracksofthissortofcapacity。
　　增加HPC容量意味着要为特定机架增加额外的冷量，可以使用分布式冷却系统，将冷却系统（如背板热交换器）放置在需要更多冷量的特定机架中。
　　AddingHPCcapacitycanmeanputtinginextracoolingforspecificracks，perhapswithdistributedcoolingsystems，thatplaceacoolingsystemsuchasareardoorheatexchangerinspecificracksthatneedmorecooling。
　　或者，为HPC系统构建一套独立冷却系统，可以使用循环流体或浸没式水箱，例如由Summer、Asperitas或GRC提供的那些。
　　Alternatively，anHPCsystemcanbebuiltwithaseparatecoolingsystem，perhapsusingcirculatingfluidoranimmersiontank，suchasthoseprovidedbySubmer，Asperitas，orGRC。
　　超大规模数据中心
　　Hyperscale
　　由脸书，亚马逊和谷歌等运营的超大型数据中心相比于世界其他地区有一定优势，这些数据中心规模巨大（平面图堪比足球场），标准化程度高（通常在标准硬件上运行应用程序）。
　　GiantfacilitiesrunbythelikesofFacebook，Amazon，andGooglehaveseveralbenefitsovertherestoftheworld。Theyarelargeanduniform，oftenrunningasingleapplicationonstandardhardwareacrossafloorplanasbigasafootballfield。
　　超大规模突破了一些界限，包括数据中心内的温度控制。由于能够统一控制各个应用程序和硬件，可以做到提高运行温度，这意味着减少了对冷量的需求。
　　Thehyperscalerspushsomeboundaries，includingthetemperaturesintheirdatacenters。Withtheabilitytocontroleveryaspectoftheapplicationandthehardwarethatrunsit，theycanincreasetheoperatingtemperatureandthatmeansreducingtheneedforcooling。
　　微软和谷歌超大规模数据中心是第一批无冷机的数据中心。2009年，谷歌在比利时圣吉斯兰设立了第一个无机械制冷的数据中心。同年，微软在都柏林也做了同样的事情。
　　HyperscalersMicrosoftandGooglewereamongthefirsttogochillerfree。In2009，Googleopeneditsfirstfacilitywithnomechanicalcooling，inSaintGhislain，Belgium。Inthesameyear，MicrosoftdidthesamethinginDublin。
　　超大规模数据中心被缓慢流动的空气冷却，有时会通过蒸发来获得额外的冷量。事实证明，产生这种气流的最节能的方法是用采用一面由大型慢转风扇组成的墙。
　　Giantdatacentersarecooledwithslowmovingair，sometimesgivenanextrachillusingevaporation。Ithasturnedoutthattheleastenergyhungrywaytoproducethatkindofflowiswithawalloflargeslowturningfans。
　　风墙已成为大型数据中心设施的标准特征，其好处之一是可以与IT一起扩展。每一个新的机架通道都需要在墙上安装两个风扇单元，这样建筑物中的空间就可以逐渐被填满。
　　Thefanwallhasbecomeastandardfeatureofgiantfacilities，andoneofitsbenefitsisthatitcanbeexpandedalongsidetheIT。Eachnewaisleofracksneedsanothercoupleoffanunitsinthewall，sothespaceinabuildingcanbefilledincrementally。
　　AlignedEnergy建造了大批次的数据中心，并开发了Delta3冷却系统，这是一个风墙，但首席执行官AndrewSchaap将其称为冷却阵列，以避免商标问题。这面风墙支持高达50kW机架热流密度，不会浪费任何冷量且可拓展。
　　AlignedEnergybuildswholesaledatacenters，andmakesitsownDelta3coolingsystem，afanwallwhichCEOAndrewSchaapdescribesasacoolingarraytoavoidtrademarkissuesItsupportsupto50kWperrackwithoutwastinganycoolingcapacity，andscalesup。
　　Schaap在2020年告诉DCD：没有哪座数据中心的热流密度一开始就是800W平方英尺。我可以从较低密度开始业务，比如100W平方英尺，在两年内，客户可以在相同的占地面积内使热流密度增加，且业务无须中断。
　　Noonestartsoutwith800Wpersquarefoot，SchaaptoldDCDin2020。Icanstartacustomeratalowerdensity，say100Wpersquarefoot，andintwoyears，theycandensifyinthesamefootprintwithoutanydisruptions。
　　冷却专业厂商Stulz发明了一种名为CyberWall的风墙系统，而Facebook则与专家Nortek合作发明了一种风墙系统。
　　CoolingspecialistStulzhasproducedafanwallsystemcalledCyberWall，whileFacebookdevelopedoneinassociationwithspecialistNortek。
　　像物联网这样的分布式应用程序需要服务的快速响应，这引发了边缘数据中心概念的提出，（边缘数据中心）即靠近数据源的微型设施，以提供低延迟（快速）响应。
　　DistributedapplicationsliketheInternetofThingscandemandfastresponsefromservices，andthat’sledtotheproposalofEdgedatacentersmicrofacilitieswhichareplacedclosetothesourceofdatatoprovidelowlatency（quick）responses。
　　边缘数据中心正在兴起，将有各种各样的边缘设施，包括集装箱大小的运输设施，可能位于现有建筑物的信号塔、机柜或服务器室内，也可能位于街道设施级别的小型密闭设施里。
　　Edgeisstillemerging，andtherewillbeawidevarietyofEdgefacilities，includingshippingcontainersizedinstallations，perhapslocatedatcelltowers，closetsorserverroomsinexistingbuildings，orsmallenclosuresatthelevelofstreetfurniture。
　　这里有一个共同的问题将IT放入不适配的空间中，并且保持这些空间的温度将是一项艰巨的任务。
　　There’sacommonthreadhereputtingITintospacesitwasn’tdesignedfor。Andmaintainingthetemperatureinallthesespaceswillbeabigask。
　　其中一些设施将采用传统方式冷却。像维谛和施耐德这样的供应商在集装箱式装置中有微型数据中心，其中包括他们自己的内置空调。
　　Someofthiswillbecooledtraditionally。VendorslikeVertivandSchneiderhavemicrodatacentersincontainerswhichincludetheirownbuiltinairconditioning。
　　其他边缘设施将放置在建筑物内的房间中，这些房间原来已有自己的冷却系统。这些服务器室和机柜室可能只是将空调管道连接到建筑物现有的冷却系统上，这可能是不够的。
　　OtherEdgecapacitywillbeinroomswithinbuildings，whichalreadyhavetheirowncoolingsystems。TheseserverroomsandclosetsmaysimplyhaveanACductconnectedtothebuilding’sexistingcoolingsystemandthismaynotbeenough。
　　想象一下一个传统的办公室柜子。维谛的GlennWishnew在最近的一次网络直播中表示，这从来不是为IT热负荷而设计的。办公空间空调通常设计为每平方英尺5W，而数据中心设备需要大约200W平方英尺。
　　Imagineatraditionalofficecloset，saidVertiv’sGlennWishnewinarecentwebcast。That’sneverbeendesignedforanITheatload。Officespaceairconditioningistypicallydesignedtodealwith5Wpersqft，whiledatacenterequipmentneedsaround200Wsqft。
　　将冷却基础设施添加到此边缘数据中心中可能很困难。如果设备处于开放式办公环境中，则无法使用嘈杂的风扇和空调。
　　AddingcoolinginfrastructuretothisEdgecapacitymaybedifficult。Iftheequipmentisinanopenofficeenvironment，noisyfansandairconmaybeoutofthequestion。
　　这引发了一些人的预测，液冷方式可能非常适合边缘数据中心。液冷方式安静，并且独立于周围环境，因此不会对建筑提出要求，也不会影响在场人员。
　　That’sledsometopredictthatliquidcoolingmaybeagoodfitforEdgecapacity。It’squiet，andit’sindependentfromthesurroundingenvironment，soitwon’tmakedemandsonthebuildingorannoytheoccupants。
　　浸没式系统将设备安全地隔离在环境之外，因此无需调节外部空气和湿度。供应商推出了类似浸没式微舱之类的预制化装置，该装置将6kW的IT设备放入一米高的盒子中。
　　Immersionsystemscocoonequipmentsafelyawayfromtheoutside，sothere’snoneedtoregulateoutsideairandhumidity。That’sledtovendorslaunchingprebuiltsystemssuchasSubmer’sMicroPod，whichputs6kWofITintoaboxonemeterhigh。
　　当然，需要克服的问题是缺乏使用此类系统的经验。边缘数据中心将分布在难以快速获得技术支持的地方。
　　Theproblemtogetover，ofcourse，isthelackofexperienceinusingsuchsystems。Edgecapacitywillbedistributedandlocatedinplaceswhereit’shardtogettechsupportquickly。
　　边缘数据中心运营商不会安装未经全面验证和测试的系统，因为现场运维需要花费大量金钱。
　　Edgeoperatorswon’tinstallanysystemwhichisn’tthoroughlyprovenandtestedinthefieldbecauseeverysitevisitwillcosthundredsofdollars。
　　但是，液冷方式对边缘数据中心来说最终还是个很好的选择，甚至比空气冷却可靠性更高。正如另一家浸没式液冷供应商Iceotope的DavidCraig指出，这些系统没有活动部件：浸没式冷却技术消除了烦扰的维护及其相关停机的需要。
　　However，liquidcoolingshouldultimatelybeagoodfitforEdge，andevenprovidehigherreliabilitythanaircooling。AsDavidCraigofanotherimmersionvendor，Iceotope，pointsout，thesesystemshavenomovingparts：Immersivecoolingtechnologyremovestheneedforintrusivemaintenanceanditsrelateddowntime。
　　深知社
　　翻译：
　　Wren
　　哔哩哔哩基础工程部
　　DKV（DeepKnowledgeVolunteer）计划精英成员
　　公众号声明：
　　本文并非官方认可的中文版本，仅供读者学习参考，不得用于任何商业用途，文章内容请以英文原版为准，本文不代表深知社观点。中文版未经公众号DeepKnowledge书面授权，请勿转载。