范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文
国学影视

掀起数据中心算力新风口!大规模光电集成有多硬核?

  智东西
  作者 | 心缘
  编辑 | 漠影
  回顾2022年,你印象最深刻的芯片是什么?
  苹果旗舰电脑芯片M1 Ultra、英伟达Grace CPU超级芯片、英特尔Ponte Vecchio GPU……想必会是高频答案。
  随着一颗颗明星芯片密集登场,蛰伏数年的多芯片封装,凭借宛如"芯片胶水"的先进封装技术将多颗芯片"粘"在一起,终于一朝红遍大江南北,成为业界公认的摩尔定律"续命良方"。
  英特尔的Ponte Vecchio处理器
  数据中心的底层算力基础设施有两大进化目标:提升算力,降低成本。
  叱咤信息技术产业57年的摩尔定律,凭借"每隔18~24个月芯片上晶体管数量翻番"的预言,长期被奉为指引算力飙涨的圭臬,驱动各类芯片遵循以低廉价格提供更强性能的经济路径成长。尽管工程师们竭力"续命"摩尔定律,但濒临2nm、1nm……晶体管尺寸的物理极限已近在眼前。
  芯片晶体管规模与制造成本变化趋势(数据来源:美国DARPA)
  挑战总是与机遇结伴,新的技术革命正在酝酿,新器件、新架构、新材料、先进封装、Chiplet等前沿技术正在开启未来之门。
  新的挑战也接踵而至。随着"拼装"芯片面积越来越大,基于铜互连的数据传输显得捉襟见肘。
  光,正成为解决数据中心疑难杂症的关键解药。
  一、通往更强算力的三扇门
  科技的生命力在于,你永远无法预料,哪个技术会在历史长河中渐渐消亡,哪个技术又会因某个突破而大放异彩。
  积淀66年的人工智能(AI)技术,最近几年才迎来爆发,且发展势头日新月异,无论是工业界从"吸金猛兽"到泡沫破裂低谷期,还是学术圈涌起大模型与AIGC竞赛,变化之快都令人惊叹。
  过去8年,AI系统参数规模爆炸式增长。
  据牛津大学经济学家Max Roser创立的在线数据分享平台Our World in Data披露,从2012年至今,顶尖AI算法用到的训练算力已从数百PFLOPS暴涨至数十亿PFLOPS。
  过去三年AI算法参数规模暴涨(图源:Our World in Data)
  面对飙升的算力需求,传统数据中心算力基础设施的架构,多少有些撑不住了。
  通往更高算力之路,至少需开启三扇门:
  1、提高单芯片算力;
  2、提高单节点算力;
  3、提高每个节点的算力利用率。
  第一扇门是提高单芯片算力,有两条路径司空见惯,一是迭代制造技术,二是优化架构设计。
  迭代制程工艺是为了持续缩小晶体管体积,以在同等面积的芯片里塞进更多晶体管,实现性能提升,但这条路正变得越来越难走。架构创新正呈百家争鸣之势态,以CPU、GPU为代表的通用芯片难以满足差异化场景的算力与能耗需求,促使异构计算大行其道。
  异构计算的本质是精细化分工,让不同架构的芯片各展其长,通过排兵布阵,使多类计算资源能够更大限度地发挥到实际场景中。这为特定领域架构(DSA)的繁荣提供了优渥土壤,并催生了光子芯片等创新品类。相比通用芯片,DSA芯片往往能提供更高的性能与能效。
  然而,仅是靠单芯片设计的优化,解决不了长期以来的芯片性能杀手——"内存墙"问题。内存容量与带宽的增速跟不上算力的增长。计算、存储单元之间的数据搬运,造成了大量不必要的功耗和延时,严重限制算力的发挥。
  为了解决这一痼疾,开启"实现单节点的算力提升"的第二扇门,业界探索出借助先进封装、绕过制造瓶颈的新思路。
  打破"内存墙"的常见解法,包括缩短通信距离、提高传输速率。前者将内存搬到离计算芯片更近的位置,后者提高内存带宽和采用更高速的互连方案,加快数据移动速度,从而提供单芯片设计难以支撑的大型计算任务算力需求。
  晶圆级计算和Chiplet是两大典例。晶圆级计算的基础思路是,在两个核心之间实现最快移动速率、最低能耗的办法,就是将它们放在同一块大硅片上来,实现高密度互连。
  Cerebras晶圆级引擎(WSE)高带宽、低延迟的芯片结构
  问题是芯片尺寸越大,制造良率越低,换言之制造成本会急剧上涨。晶圆级计算的解法是让一块晶圆级巨型芯片容纳足够多的冗余核心,来摊薄出现一定瑕疵故障几率的风险。
  Chiplet则巧妙地绕过了这个难题:将不同功能、不同工艺制成的小芯片模块及高带宽内存,用先进封装技术拼在一起,既避开了良率挑战,又能通过灵活组合,提供更高性价比的算力。
  AMD第4代EPYC CPU Chiplet设计
  但即便如此,数据中心仍然饱受数据传输带宽与延迟不高的困扰。受制于此,实际业务中发挥价值的算力资源远少于理论算力峰值,而那些多余的功耗、成本,都得由数据中心来买单。
  因此,提高每个节点的算力利用率,成为提高算力所需通过的第三扇门。
  业界正尝试从系统级设计思路出发,探索更有效的资源池化和网络互连,来提高服务器集群的算力利用率。在这之中,芯片内部互连、芯片与芯片之间的互连,都是影响整个系统数据传输带宽、延迟的关键。
  过去CPU、GPU等计算芯片和存储芯片被放在一块基板上,通过PCIe来连接。然而面对愈发庞大的工作负载需求,有限的PCIe带宽后继乏力。台积电主导了通过在硅中介层(interposer)铺设高密度铜导线来提高带宽的思路,已用到高带宽内存(HBM)设计中,被AI芯片公司广泛采用。
  台积电CoWoS-S先进封装技术架构
  但围绕传统铜互连的改良方法是治标不治本,芯片面积小尚可,随着需要搬运的数据越来越多,芯片面积越来越大,数据传输距离越来越长,也就越来越受到铜导线发热和带宽的限制。
  要满足下一代AI系统的性能、功率、带宽需求,需要新的互连方案。
  铜退光进,或许正是破题之道。
  二、单车换地铁,从铜导线转向光波导
  当你上网查询资料、开视频会议,数据会通过光纤网络,传输至遥远的数据中心。等进入芯片内部,基于铜导线的互连开始负责将数据在计算单元、存储芯片之间来回搬运。
  但物理材料的局限性,使得铜互连仅适合近邻数据传输。随着晶圆级计算、Chiplet等大芯片设计方案日渐盛行,暴涨的算力需求驱动拼装的核心或Chiplet数量越来越多,芯片面积越来越大,而数据传输距离变长,铜互连的边际成本就会急剧上升,导致延迟、功耗增加,性能严重下降。
  此时,如果能将光子引入片上互连,也许能大幅提升计算单元与存储之间的通信效率。
  假如将芯片内的数据传输视作城市里的交通,铜互连ul比骑单车,适合短途出行,跑长途就得面临速度有限、非常消耗体能等问题,光互连则像乘地铁,对于城市内较长距离的出行,是更高效且不费力的选择。
  相比铜互连,随着传输距离变长,光信号的损耗要比电信号低几个数量级。理想情况下,对超过1~2cm的数据传输,使用光作为传输介质更具优势,为解决带宽及容量瓶颈带来更多可能。
  2017年创立的曦智科技,是少有的片上光网络先行者。在上周五举办的第二届中国互连技术与产业大会上,它刚刚预告了世界上第一款基于片上光网络(oNOC)的计算产品。
  片上光网络可实现高效的计算/存储互连(图源:曦智科技)
  在AI芯片领域,曦智科技是一家相当特立独行的创企,也是迄今全球融资规模最高的光子计算公司。2017年,一篇由曦智科技创始人兼CEO沈亦晨为第一作者和通信作者的光学AI计算论文登上顶级期刊《自然·光子学》的封面,从此掀开了集成光学替代电子计算芯片革命的扉页。
  踏上商业化道路后,曦智科技团队逐渐意识到,光子计算带来的算力提升再大,内存带宽跟不上也是白搭,要满足数据中心飙涨的算力需求,还需进行一场"铜退光进"的技术革新。
  因此,他们研发了一款用于AI计算的片上光网络系统,目前已完成相关技术验证并流片,预计2023年向客户送样。
  曦智科技首个基于片上光网络的计算芯片(图源:曦智科技)
  如图,中间黑色部分是曦智自研的AI计算电芯片。曦智科技将一块集成硅光芯片和一块电子芯片进行垂直堆叠,用光波导替代铜导线,让片上光网络进行数据传输,使芯片之间的距离变得最小,理论上可实现比现有transceiver高1000倍以上的集成密度。
  其片上光网络系统由512个波导通道组成,单个波导通道的最长广播距离大概50mm,广播延时1ns,单通道频率4GHz,片上总带宽2Tbps。
  "这种设计之前在光通信行业是不存在的。"沈亦晨告诉智东西,以前光芯片和电芯片就像两幢楼,要进行通信,则需先下楼、走到另一幢楼、再上楼。而将电芯片堆叠在光芯片上,则像楼上楼下,只需搭乘楼内电梯,通信成本低很多。
  据他分享,相比传统光芯片与电芯片分开封装的方式,将电芯片堆叠在光芯片上的光电转换功耗和延迟成本会低得多。
  经实测,oNOC计算产品能在1ns内完成多个计算核之间All-to-AIl的数据广播,这将大幅提高了每一个计算核的算力利用率。
  尽管少数海外公司也在探索光电芯片垂直堆叠,但曦智科技联合创始人、CTO孟怀宇告诉智东西,片上互连系统需要大面积堆叠,从集成度的角度考虑,曦智科技已经做到在硅光芯片中集成上万个器件,这是已公开跑通的系统中绝无仅有的,技术壁垒很高,目前全球从工程上掌握片上光网络技术的企业可能不超3家。
  下一步,曦智科技计划优化oNOC技术的通用性,使其能与第三方电芯片适配,并将积极寻求与更多电芯片设计厂商的合作。
  除了提升芯片内部的带宽外,光网络也正拓展至更多服务器之间,酝酿一场改变数据中心通信效率的技术革命。
  三、解锁服务器间通信密码,为资源池化提供更强互连
  如果说片上光网络像穿梭于城市的地铁系统,那么芯片与芯片之间的通信则相当于更远距离的两座城市之间的交通。
  面对庞大的计算需求,传统数据中心架构日渐式微,从集中式走向分布式计算。分布式架构将计算、存储、网络、安全等资源分别组建成虚拟资源池,进行统一调配管理,实现资源集约化。
  这样一来,每颗计算芯片都能访问更大的存储资源,从而提高整体系统的算力利用率。
  传统数据中心中,数据在成百上万个服务器之间搬运。服务器中各芯片间的距离较短,此前主要通过铜导线传输数据。但正如前文的类比,铜导线更像骑单车,市内骑行尚有余力,跨市跨省的长途旅行就会很耗费时间和能量。
  如果想构建更大规模的可扩展系统,进一步提升资源池化能力,支撑起未来海量数据和计算任务对系统规模、带宽和功耗的需求,那么能支撑芯片从毫米到千米范围内通信的光网络,将是实现机架到机架传输的更理想选择。
  铜导线传输信号随距离衰减,与光纤线缆截面对比(图源:曦智科技)
  "我们觉得CXL标准接口是一个最合适的未来接口。"沈亦晨认为,近年被主流芯片公司及数据中心公司争相推崇的CXL(Compute Express Link),将成为硬件资源解耦架构的主导协议。
  此前在数据中心分布式计算中,服务器内的多芯片连接常用PCIe,多服务器的连接常用以太网,在不同设备之间的通信开销较高,延迟要比出发点就是实现多芯片与内存高效互连的CXL差很多,令效率大打折扣。
  从一个机柜到另一个机柜,以太网的延迟大约在3μs至10μs级别。而CXL的缓存一致性远优于以太网,延迟大约在300ns以下,这样的架构才能满足计算解耦、内存共享等对延迟的苛刻要求。
  今年8月发布的CXL 3.0标准带来了更多改进,实现了内存共享和设备到设备的通信,让成百上千台服务器的互连和资源共享成为可能。内存成了独立可扩展的资源,能根据工作负载需求进行动态分配,通过这样提高资源利用率,数据中心将极大节省在存储上的开销。
  沈亦晨相信,CXL标准进一步通行,有望可重构解耦现有数据中心的结构。
  在他看来,第一阶段可能会是在一台服务器内的资源池化,铜导线尚能勉强支持将内存和计算单元连在一起的CXL扩展,但未来在超过2m以上距离的服务器之间用CXL实现资源池化,铜导线的成本会非常高昂,此时光提供了更大范围的高效可扩展性,基于光的CXL将走向主流。
  曦智科技正在探索片间光网络技术(oNET)的研发,用光纤实现更远距离的芯片与芯片之间的数据传输,也就是用光互连发挥出像英伟达NVLink互连技术这样的作用。这将为服务器之间的通信搭建起一条更高运力的通路。
  硅光CXL可能的产品形态(图源:曦智科技)
  结语:光电协同走向下一章节
  从光电混合计算到片上网络、片间网络再到翻山跨海的远程通信,光子能够贯穿数据处理的整个旅途,优化数据中心的算力和成本。
  光电混合计算芯片PACE的成功验证了光子计算的优越性。如今,曦智科技以光子计算产品及解决方案为基础,延伸至光网络相关研发,让计算芯片间通信速度追上算力增长的脚步。
  而这些探索的终极目标,都是满足数据中心对更高算力、更低延时、更低功耗的需求。
  沈亦晨说:"未来的计算系统里,计算,存储和传输就像形成一个水桶的三块木板,变得越来越密不可分,如何利用大规模光电混合集成技术去优化这三块木板,增加全系统的算力一直是曦智科技的主要使命。同时,我们也需要更多公司能够加入到这个新型的生态建设里来,各自分工,才能加速整个行业的发展。"
  数字革命才刚刚开始,芯片创新充满无限可能。围绕光子计算与光网络的探索,终将在数据中心掀起新的飓风。

刘强东一定要从银行贷款,千万不要拿风投的钱,有道理吗?刘强东是完全有资格说这句话的,能贷款一定要从银行贷款,千万不要轻易触碰风险投资。尤其是智商不高的人,说刘强东站着说话不腰疼,自己已经熬出头了,就不让别人拿风险投资。典型的资本家的嘴银行网点行长年薪大概有多少钱?银行银行的网点可以细分为支行分理处储蓄所以及社区银行等,不同级别的网点,基础薪酬待遇是一样的。而且即使同一个级别的支行,由于不同银行以及不同地域,其薪酬待遇也是不一样的。以本行的支很多人说傻子才存钱,在银行存定期还有必要吗?不看不知道,一看吓一跳。原来世上还是傻子多,我也算一个。对于很多人说傻子才存钱。在银行存定期还有必要吗?我可以说一下我的想法因为,生活的年代不同,各家各不同,个人各不同,对于这个很到老了有吃有喝有存款,可部分老年人怎么也乐呵不起来,什么原因?你讲的是物质方面,物质是基础。但人的乐呵不完全取决于物质,要乐呵也容易,就上头条。一,有人有这样那样的放不下人老退休了是指的身体不参加工作了,但是脑子并不退休,会考虑退休以后应该做一同学向我借款30万开饭店,每年给我3的利息,该不该同意?不要借,原因有以下六个原因一,30万本金每年3利息,相当于每年给你9000元,算算30万只给利息需要33年,才能挣够你自己本金30万,相当于你给人家投资了。这还是你同学投资成功遵守为什么有些上了年纪的人喜欢去银行买理财产品呢?为什么?因为习惯成自然!我来个给大家说一个真实的例子,我家邻居的阿姨现在60多岁,每个月有3000多元的退休金,她每个月基本都会去银行查看钱有没有到账,但是去查账她不会通过ATM查山东大学齐鲁医学院实力如何?山东大学齐鲁医学院实力如何?这个话题肯定会引起不少考生和家长的兴趣,尤其是山东考生的兴趣。我先说结论吧现在的山东大学齐鲁医学院水平基本上属于地方医学院层次,全国范围内影响力不大,省福建师范大学福建医科大学和集美大学,哪个好?说到福建,谈到大学校园文化建设,让我在第一时间会想到厦门大学!毕竟对于整个福建省而言,厦门市不仅仅因为自身风景秀丽气候宜人,旅游资源丰富而名声大噪外,厦门大学也是非常出名的一所高等在上海市工作,75年工作,17年退休,大约可以领多少养老金?题主在上海市工作,1975年开始上班,2017年退休。问大约可以领多少养老金?既然你17年就巳经退休,想必是想来考考我吧!你1975年就巳经参加工作,如果是企业职工的话,1975年如今大学生遍地都是,但学历依然很重要,您认同吗?没有大学生遍地都是,即便是在一线城市也没有大学生遍地都是。即便是放到美国,也不能这么说。只是相对于二十年前。大学生的人数多了。但是高校入学率还是跟发达国家有很大的差距。学历依然是一为什么打桩机钻头掉了非要派水鬼捞上来?水鬼一次下井2万元,发生意外的话,能够赔偿100万,而且还带着一把刀,这刀究竟有什么作用?一个远房的表哥,曾经做过水鬼,现在改行了。他告诉我,水鬼不是一般人能做的。他的一番话,颠覆
吃惊!希金斯我的内心似乎更渴望走向退役!2022德国大师赛资格赛已经全部结束,冷门不断,TOP16高达9位爆出大冷,无缘正赛,包括巫师希金斯。资格赛首轮,希金斯表现不错,打出一杆110分破百,三杆50,以53击败傅家俊,南京大学金钟团队构建高比能长寿命的新型锂聚硫化碳电池喜欢就关注我们吧,订阅更多最新消息第一作者陶安阳,张凯强,马兴凯通讯作者金钟通讯单位南京大学DOIhttpsdoi。org10。1021acsenergylett。2c02107全连续3场亮相!中国裁判或迎世界杯首秀卡塔尔世界杯正在进行的如火如荼,亚洲的球队在首轮小组赛中,也有出色的发挥,沙特击败了阿根廷日本击败德国。首轮小组赛,亚洲球队6场2胜1平3负积7分,拿分率达到了38。89。虽然本届世界杯第七比赛日分析昨天两场分析全错,连续两天四战皆墨,第二轮小组赛开始,曹操状态低迷,需要调整。昨天看了荷兰的比赛,能拿1分都是侥幸,荷兰打3中场,几乎就是没有中场,太容易让对手通过了,组织进攻又没您彻底聚焦在一件事情上,固定下来,不断重复,千千万万遍的干您时时刻刻知道您自己付出了什么,能够换回什么。您没有任何付出,您就想换东西,您是在搞诈骗,欺骗您自己,欺骗社会。所有人,必须跟随我先努力提升自律认知。您的每分每秒,全部投入到工作当生活让人无奈人活着有很多的问题,人是贪婪的自私的,每个人都被欲望和名利缠身,我们逃脱不了环境,肮脏的环境让我们坠入堕落沉迷沉沦,为什么我这个人总是丧失理性丧失自控呢?我这个人不争气没有出息没有丁俊贵之幸福是一种能力幸福是一种能力幸福,是一个人自我价值得到满足而产生的喜悦,并希望一直保持现状的心理情绪。幸福划分为四个维度满足快乐投入意义。幸福不是拥有你想要的,而是想要你已经拥有的,也就是知足者Day19杨绛先生的话给了我极大的力量每个人都会有一段特别艰难的时光,生活的窘迫,工作的失意,爱的彷徨不可终日。挺过来的,人生就会豁然开朗,挺不过来的,时间也会教会你怎么与它们握手言和。所以你不必害怕,日升月落,总有黎又是一年秋叶黄,再也见不到的姥姥,回不去的故乡秋风顿起树尖上寥寥几片黄黄的叶子也摇摇坠坠的落到了大地上。落叶挤挤挨挨的在土地上堆积了厚厚一层,脚踩上去嘎吱嘎吱的响。看着这些落叶,我突然想起小时候在姥姥家,每逢深秋的时候我都会拿冬天炖羊肉补肾驱寒,做好3放4不放,保证汤鲜肉嫩面对寒冷的冬天吃上一碗羊肉,不仅能满足自己的味蕾,还能驱赶冬天的寒气。我们在炖羊肉时,要牢记3放4不放诀窍,做出的羊肉鲜嫩可口,汤汁奶白,没有一点膻味。3放4不放诀窍炖羊肉时,要放四川8大名菜有哪些?你吃过几种?不愧是八大菜系中的百姓菜暖冬生活记中国的饮食文化源远流长,可以从时代与技法,地域与经济,食品与食具,民俗与功能等多个角度进行分类,目前来说,最受大家认可的就是八大菜系。八大菜系涵盖了我们古代饮食文化的精要