范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

为什么说液体冷却是未来AI发展的一个关键点?

  澎湃新闻记者 邵文
  在过去几年中,大规模人工智能或机器学习的限制因素首先是硬件能力,其次是复杂软件框架的可扩展性。最后一个限制与计算组件的关系不大,而与冷却处理器、加速器和存储设备有关。而随着对计算需求的持续增长,以及对削减电力成本,降低碳排放的需要,可能意味着我们要对计算系统冷却方式重新思考。
  《The Next Platform》在近日的一篇报道中指出,液体冷却是未来人工智能发展的下一个关键点。其认为,之所以没有更广泛地讨论这一点,是因为数据中心已经具备充足的冷却能力,通常配备空调机组和标准的冷通道、热通道实施方案。对于需要一个或两个CPU的一般企业应用程序,这是可以接受的。
  然而,AI训练系统不是两个CPU,而是至少有两个高端CPU和额外的四到八个 GPU。功耗从普通企业级服务器的500瓦到700瓦,到单个AI训练节点的2500瓦到4500瓦之间。
  想象一下这样的功耗下产生的热量,然后想象一个空调装置试图用冷空气冷却它。对于这种每机架的计算和热量密度,有一点很清楚,那就是没有办法吹出足够的空气来充分冷却地球上一些最昂贵、高性能的服务器设备。这会导致计算元素受到限制,或在极端情况下导致关闭。
  同时,空气是一个糟糕的热导体,比如在寒冷的冬天,人们会觉得裸露在室外的金属块比空气更寒冷,这是因为金属是良好的热导体,它比空气从你手中带走的热量要多。同时,相比水来说,空气也无法容纳大量的热。
  这时就要考虑另一个因素:服务器机架密度。
  疫情期间,由于企业居家办公、学校远程教育及"健康码"等大量应用,数据需求量暴增。据《Wealth Management》的报道,数据中心的机房需求处于历史最高水平,最大化密度的需求正在推动新的服务器创新,但冷却只能通过在机架(可以驻留更多系统的地方)留出空隙来让空气保持跟上。在这些情况下,空气冷却不足以完成任务,同时会导致每个机架的计算量减少,服务器机房空间浪费更多。
  对于在双CPU服务器上具有单核作业的普通企业系统,问题可能不会很快复杂化。但是对于密集的AI训练集群,需要大量的能量来引入冷空气,在后端捕获热量,并将其恢复到合理的温度。这种消耗远远超出了为系统本身供电所需的消耗。
  那么液体冷却如何呢?联想 HPC(High Performance Computing,高性能计算)和AI欧洲、中东和非洲地区总监Noam Rosen解释道,"当你使用温水、室温水来散热来冷却组件时,你不需要冷却任何东西,无需投入能源来降低水温。当你获得进行大规模AI训练的国家实验室和数据中心的节点数时,这将变得非常重要。"
  Rosen在《NLP中深度学习的能量和政策考虑因素》(Energy and Policy Considerations for Deep Learning in NLP)中,通过对几种常见大型AI模型的训练进行生命周期评估,指出定量细节以比较一般企业机架级电源需求与AI训练所需的电源需求。他们检查了自然语言处理(NLP)的模型训练过程,发现NLP训练过程可以排放数百吨碳,相当于一辆普通汽车整个寿命周期排放量的近五倍。
  "从头开始训练新模型或将模型应用于新数据集时,由于调整现有模型所需的持续时间和计算能力,该过程会排放更多的碳。因此,研究人员建议行业和企业齐心协力,使用更高效、运行所需能源更少的硬件。"Rosen表示。
  Rosen具体比较了温水冷却与空气冷却,"今天,可以在一个机架上安装一百多个Nvidia A100 GPU,但唯一的方法是用温水冷却。相同的密度在风冷机架中是不可能的,因为所有空插槽都可以让空气冷却组件,即便如此,它也可能无法解决那么多GPU产生的热量。"
  根据服务器配置,温水冷却可以带走85%到95%的热量。Rosen解释道,由于水的允许入口温度达45 C,在许多情况下,不需要耗能的冷水机,这意味着更大的节约、更低的总成本和更少的碳排放。
  用水来冷却并不新鲜,它在大型主机业务中的使用已经历时几十年。但随着大型主机在数据中心中的应用慢慢减少,水冷也随之被淘汰。但目前,由于空气已经不足以冷却高功率密度设备,水或者说是液体冷却再次被提起,并被视为未来冷却数据中心的关键。
  责任编辑:李跃群
  校对:张亮亮

从AI换脸到虚拟数字人,海百川要做元宇宙时代的技术提供商文刘晓潼编辑江倩君元宇宙风口,使实体经济和虚拟经济结合愈发紧密。被认为是元宇宙时代的重要基础设施,也是虚实经济结合的重要载体虚拟数字人,早在该风口来临之前便在游戏动漫等场景有实际落协同推进人工智能产业创新作者王黎萤(浙江工业大学中国中小企业研究院)赵春苗(浙江工业大学管理学院)李平(中国社会科学院数量经济与技术经济研究所)第四次工业革命的到来,加速了各产业间以人工智能技术为核心的创黑龙江省市场监督管理局压实平台主体责任规范黑土经营行为为贯彻落实黑龙江省黑土地保护利用条例,加强网络黑土经营行为监管,近日,黑龙江省市场监督管理局与阿里巴巴集团京东拼多多平台企业黑龙江区域相关负责人以视频形式开展座谈,了解平台企业对平元宇宙新鲜事高通已与字节跳动建立合作伙伴关系电竞俱乐部FPX宣布推出FPX元宇宙财联社区块链日报5月9日讯今日元宇宙新鲜事有电竞俱乐部FPX宣布推出FPX元宇宙高通CEO称正与Meta字节跳动等公司在元宇宙上展开合作。世界知名电竞俱乐部FPX宣布推出FPX元宇韩国三星现代等韩企将出席总统就职晚宴,为商界巨头首次获邀韩国中央日报5月9日报道,在5月10日举行的韩国总统就任晚宴上,三星电子副董事长李在镕等来自韩国5大企业的商界巨头将出席。具体来看,包括三星电子副会长李在镕现代汽车集团会长郑义宣SMySQL学习实践DAY12SELECT命令子查询WHAT(什么是子查询)嵌套在其他查询中的查询WHY(为什么需要子查询)简化查询语句,把多步查询,利用嵌套变为单步查询。利用子查询可以实现类似分组统计的功能。HOW(怎么样进行子查实战Prometheusblackboxexporter黑盒监控一Blackboxexporter安装部署1。1Blackbox配置文件rootmayiopscatblackboxexportcpnfogmap。yamlapiVersionv1Python命名规则与注释风格命名规则名称不要缩写!!!名称不要缩写!!!名称不要缩写!!!包命名小写,下划线连接单词模块命名小写,下划线连接单词类命名双驼峰,MyClass函数命名小写,下划线连接单词全局变量本网开设涉互联网算法推荐专项举报渠道自贡网涉互联网算法推荐专项举报渠道为认真落实中央网信办关于开展清朗。2022算法综合治理专项行动的通知的工作部署,按照互联网信息服务算法推荐管理规定第二十二条算法推荐服务提供者应当如果马斯克成为美国的下一任总统呢?特斯拉在上海又建第二工厂,是真的好吗?特斯拉看起来是一部车,其实它是一个非常大的雷达,它有着非常先进的高清计算机视觉可以无时无刻进行地势感知。获取影像整理数据,然后向某一个云端的服红米K50Pro评测,让你爱不起来也讨厌不起来的平庸之作在今年的小米产品中,RedmiK50系列是一个独特的存在,与小米12系列比,小米K50系列无疑算是成功的,在京东平台上,K50系列目前的总销量是10万出头的样子,显然要比小米12的
三缸奇骏销量出炉了,虽然被网友群嘲,但人家销量就是高奇骏在紧凑SUV领域一直是很走量的一款车,虽然老款奇骏因为塑料尾门被网友们狂喷,但哪怕是产品末期的老奇骏依旧能斩获接近2万辆的月销量,这是为啥呢?说实话,有些车真的是不怕喷,因为人买车选轿车好还是SUV好呢?很多人不知道它们的差别,自然选不对买轿车的后悔了,买SUV的也后悔了,那么轿车和SUV到底该如何选?虽然汽车如今已相当普及了,但普通消费者对于汽车的了解还很少,甚至存在很多误区,因此导致当下很多人在买车时仍旧不清楚长安旗下的价格屠夫,车长近4米9,科赛PRO起售价降至8万以内车长近4。9米的SUV一般是标准的中型SUV,例如福特锐界丰田汉兰达等车型的尺寸都在这个范畴之内,当然还有国产品牌中的哈弗H9荣威RX8等中大型SUV,优秀的空间加之7座的布局很适全新思域实车亮相,外观黑化更运动,内饰焕然一新,关键还加长了从5月份开始,本田思域的销量出现了较大幅度的下滑,除了芯片供应不足之外,另一大影响其销量的因素便是该车即将迎来换代。作为国内一款热度较高的紧凑级家轿,其换代车型的市场关注度非常高,菲斯塔终究还是倒下了!入门配前后独悬,拥有204PS,月销百辆国内车市虽然体量很大,但内部的竞争异常残酷,一旦产品力落后竞争对手,很快就会被市场淘汰,因此近几年有不少10万级合资车纷纷倒下了,比如标致308雪佛兰科鲁兹等车型都因销量低迷已经退比亚迪宋PRODMi预售价曝光,或11。98万起,H6CS75这下要慌了凭借DMi混动的加持,比亚迪秦PLUS的销量不断突破新高,在7月份更是跻身紧凑轿车销量前五名,要知道作为一款国产紧凑轿车,这是一个前无古人的成绩。而且分析其热销的原因你会发现,秦PHaylouW1与声阔Liberty2PRo对比体验这几年TWS真无线耳机感觉成了一个风口,各家都在疯狂地更新自家的TWS耳机产品,每年也都有新的亮点成为大家争相宣传的对象,不过以往的TWS虽然功能众多,使用便捷,但是在音质上多多少运动耳机抗汗才是王道南卡RunnerPro骨传导耳机初体验引言从大学毕业参加工作开始,跑步我就没有暂停过,即使四处漂泊,到处谋职,但跑步的习惯一直保持着。不管是周末白天跑步,还是夜晚跑步,我都有戴耳机的习惯。跑步时,戴上耳机,音乐与运动成从电源到散热,从机箱到显卡,这套攒机清单今年双十二值得收藏引言电脑装机是一个大市场,在这个市场里面有无数的电脑主机配件厂商,但是出色的靠谱的配件厂商却屈指可数,而九州风神就是这个大市场里不可忽视的品牌。今天,我给大家分享的是九州风神装机配拉杆箱里的钢铁侠,地平线8号POWER系列登机箱安全性面面俱到引言对于出差频率较高的朋友而言,拉杆箱,既是一个容纳衣物的储物箱,又是一个出行过程中最为贴心的伙伴。贴心的伙伴往往是最靠谱的,好的拉杆箱亦是如此。我在今年一季度入手了地平线8号行李国货当自强,四季沐歌晾衣架全副武装,安全与人性化做到极致前言大家好,我是科技好物菌,618即将到来,大家的购物车里都有啥好物?今天,我给大家分享的是我入手的四季沐德尔菲系列的智能晾衣架。我家的房子是在2018年装修的,装修过程我写过两篇