范文健康探索娱乐情感热点
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

优化网络通信可以加速大规模机器学习模型的训练

  在高速网络设备中插入轻量级的优化代码,使得KAUST领导的合作将并行化计算系统的机器学习速度提高了五倍。  这种 "网内聚合 "技术是与英特尔、微软和华盛顿大学的研究人员和系统架构师共同开发的,它可以利用现成的可编程网络硬件提供显著的速度提升。
  人工智能(AI)之所以能够拥有如此强大的 "理解 "和与世界互动的能力,其根本的好处是机器学习步骤,即使用大量标记的训练数据集来训练模型。训练AI的数据越多,当暴露于新的输入时,模型就可能表现得越好。
  最近人工智能应用的爆发主要是由于更好的机器学习和使用更大的模型和更多样化的数据集。然而,执行机器学习计算是一项艰巨的任务,并越来越依赖于并行运行学习算法的大型计算机阵列。
  "如何大规模地训练深度学习模型是一个非常具有挑战性的问题,"KAUST研究团队的Marco Canini说。"人工智能模型可能由数十亿个参数组成,我们可以使用数百个处理器,这些处理器需要高效地并行工作。在这样的系统中,增量模型更新过程中处理器之间的通信很容易成为主要的性能瓶颈。"
  该团队在 英特尔 旗下的Barefoot Networks公司开发的新网络技术中找到了潜在的解决方案。
  "我们使用Barefoot Networks新的可编程数据平面网络硬件来卸载分布式机器学习训练过程中执行的部分工作,"后来加入英特尔Barefoot Networks团队的KAUST校友Amedeo Sapio解释道。"使用这种新的可编程网络硬件,而不仅仅是网络来移动数据,意味着我们可以沿着网络路径进行计算。"
  该团队的SwitchML平台的关键创新在于,在机器学习过程的模型更新阶段,允许网络硬件在每个同步步骤中执行数据聚合任务。这不仅卸载了部分计算负载,还大大降低了数据传输量。
  "虽然可编程开关数据机可以非常快速地进行操作,但它能做的操作是有限的,"Canini说。"因此,我们的解决方案必须对硬件足够简单,但又必须足够灵活,以解决板载内存容量有限等挑战。SwitchML通过共同设计通信网络和分布式训练算法来解决这一挑战,与最先进的方法相比,实现了高达5.5倍的速度提升。"
  【来源:cnBeta.COM】

蚂蚁公布碳中和目标承诺2030年实现净零排放蚂蚁集团对外公布碳中和目标,承诺在今年起实现运营排放(范围一范围二)的碳中和,2030年实现净零排放并自2021年起定期披露碳中和进展。据介绍,为了实现2030年碳中和目标,蚂蚁自淘宝冷植识网上植发95后占半边天今天是植树节,淘宝对外发布了一则关于ldquo植发rdquo的冷知识过去一年,伴随着年轻人对头发重视的提升,网友们在淘宝和饿了么平台上ldquo激情rdquo种发,下单植发相关产品Telegram通过债券形式筹集到了10亿美元的新投资消息传递应用Telegram创始人PavelDurov周二表示,该公司已通过向多个投资者出售债券的方式,筹集到了超过10亿美元的资金。其中包括了MubadalaInvestment华为创新数据基础设施体验中心落地成都华为创新数据基础设施体验中心及行业创新体验中心今日在成都正式落成。该体验中心旨在搭建一个面向全球政府金融医疗教育能源等行业的技术交流与合作平台,让产业界充分了解数据存储机器视觉智能StrategyAnalytics全球已售超过5亿部可穿戴设备StrategyAnalytics的最新最新研究指出,2020年,全球首次售出了超过5亿部可穿戴设备。其中,耳戴设备更是以61的增速拉高了整体市场增速,同时其占整个可穿戴设备市场的哔哩哔哩正式登陆港交所二次上市首日开盘破发哔哩哔哩港股上市首日开盘破发,跌超2,总市值约3000亿港元。哔哩哔哩26日公告显示,按发售价每股发售股份808。00港元计算,估计将收取全球发售所得款项净额约198。735亿港元微软分享ExchangeServer攻击背后的破坏活动情报许多企业内部的Exchange服务器正在忙着打补丁,但微软警告说,调查发现,在已经被入侵的系统上潜伏着多种威胁。攻击者惯常使用WebShell脚本来获得服务器上的持久权限,或者攻击2021年iPadProiPhone紫色款24英寸iMac壁纸包现在已经可以下载从2021年iPadProiPhone紫色款24英寸iMac中分离出来的最新官方壁纸,可以用于任何设备。每当苹果推出一个全新的带显示屏的设备,新的壁纸总会是其中一部黄峥及拼多多创始团队向浙大捐赠1亿美金浙江大学教育基金会和繁星公益基金签署捐赠协议,设立ldquo浙江大学上海高等研究院繁星科学基金rdquo(下称ldquo繁星科学基金rdquo),推动浙江大学在生物医疗农业食品等多苹果M1芯片让高通急了正研发高性能芯片SC8280可能意识到苹果自研芯片M1所带来的竞争压力和威胁,高通内部正在研发一款型号为SC8280的新芯片。这表明高通可能不会将该芯片称之为第3代8cx,可能会启用全新的品牌。这款新芯片目前芯片短缺,车企停产,中国企业或将率先破局近日,本田汽车公司表示,由于供应链受到新冠疫情芯片短缺港口拥堵以及严寒天气的影响,本田在美国俄亥俄州阿拉巴马州印第安纳州以及加拿大安大略省的汽车工厂将会面临暂时性停产。停产时间预计
支付宝又改版了收付款合并出行首次挤入四大金刚你的支付宝又要升级了!5月20日,支付宝举办了一场ldquo不正经rdquo的产品发布,支付宝产品经理处端以脱口秀形式ldquo剧透rdquo了新版支付宝将带来的三大升级ldquoChromium版新Edge浏览器首版Beta发布下载基于Chromium开源内核重新开发的微软Edge浏览器已经推进很长时间了,从4月的公测算起也接近小半年,不过版本迭代均停留在Canary(日更)和Dev(周更)两个早期分支。今天Win10新BUG让用户崩溃关机时连着打印机会让设备失灵无BUG,不Win10helliphellip微软日前确认,对于Windows10v1903及以上版本的操作系统存在一个不是那么普遍的BUG,如果关机时连接着打印机,那么再次开机时Adobe独家入驻天猫!PhotoshopLightroom个人二折钜惠Adobe今天宣布,天猫作为Adobe在全球范围内唯一的官方旗舰店,现已独家推出ldquoCreativeCloud中国摄影计划rdquo,这也是基于Adobe在中国这个重要市场推使命召唤预告给出索尼PS5发售时间美加最早分批上市索尼PS5的确切发售日仍无官方说法,不过,动视使命召唤黑色行动冷战的最新预告片中则给出了细节。预告显示,CoD17的PS5版本会在今年圣诞假期期间先行在美国和加拿大发售,随后登陆其Windows10概念设计微软怎么就想不到呢!Windows10被吐的槽大概是Windows历史上最多的,它的很多界面功能设计也确实堪称蜜汁存在,于是经常有各路大神给微软出主意,制作各种各样的概念设计,很多思路的确值得微软借鉴Windows10升级将更顺畅微软改善兼容性问题对于微软来说,目前正在推动的工作,怎么让更多用户可以更顺畅进行Windows10系统升级。根据外媒ZDNet提供的最新报告,微软已经意识到可以通过和硬件合作伙伴开展更紧密的合作,来统信服务器操作系统V20行业版发布更适合国人近日,统信软件正式发布了统信服务器操作系统V20行业版(UnionTechOSServer20EnterpriseC)。此前,统信已经先后发布了服务器操作系统V20企业版欧拉版桌面国庆出境游报告手机支付彻底离不开了10月8日消息,支付宝联合飞猪发布了2019国庆黄金周出境游报告。报告显示ldquo十一rdquo期间,国人出境游移动支付消费再创新高,人均支付接近2500元,同比去年增长14单笔微信发起狠来自己人都灭掉了10月28日,微信发布公告,集中治理第三方违法违规恶意链接,包括但不限于诱导分享内容色情低俗内容违法违禁品售卖信息恶意营销垃圾广告等。微信特别强调,一些因违法违规被微信处理的内容,Win10补丁第N次翻车上一点心都不会有关于Windows10补丁更新出问题的报道实在太多,以至于有人认为这是在黑微软和Windows10,但事实上,Windows10更新的质量把控实在不敢让人恭维,而且很多错误都犯得