AI新动态AI自造AI的速度将提升240倍
雷锋网注:【 图片来源:IEEE所有者:iStockphoto 】
自2017年以来,研究人员一直使用AI神经网络来帮助设计更好更快的AI神经网络。
迄今为止,这种应用在很大程度上是一种学术追求,主要是因为这种方法需要数万个GPU hours。然而,下个月,麻省理工学院(MIT)的研究团队将展示所谓的"神经架构搜索"算法,该算法可以将AI优化AI的过程加快240倍或者更多。
优化后的AI速度更快,精准度更高。而这个新算法的出现将助力优化后的AI广泛应用于图像识别算法和其他相关应用。
MIT电子工程和计算机科学的助教Song Han表示:"我们团队在模型大小、推理延迟、准确性和模型容量等多个方面做出了权衡。"他还补充说:"这些因素组成了一个巨大的设计空间。以前,人们都在设计基于人类启发的神经网络。而新算法试图将这种劳动密集型的、基于人类启发的方式转变为一个基于学习的、基于AI的设计方式。就像AI可以学习下棋一样,AI也可以学习设计一个神经网络。"
就像在围棋和国际象棋中获胜的AI程序教给大师们新策略一样,AI优化AI这一新的探索为设计AI神经网络提供了全新的方法。此类神经网络被称为卷积神经网络(CNN),MIT团队研究的新算法促进了这种神经网络的发展。CNN通常作为图像识别程序的神经网络。除此之外,它在自然语言处理和药物发现等领域也有所应用。
MIT的Han指出,一旦他们团队的算法建立起最优的CNN,得到系统分类图像的速度很可能是其他神经架构搜索构建的AI的1.8倍。
Han说,团队能够以如此惊人的速度精确定位最优的CNN设计,有三个重要的想法:
第一、他们减少了运行神经架构搜索的GPU内存负载。一般来说,标准的神经结构搜索可以同时检查网络中神经层之间所有可能的连接。然而,Han的团队每次只在GPU的内存中保存一条路径。这个技巧可以在仅使用十分之一内存空间的情况下,对参数空间进行完整的搜索,从而使他们的搜索覆盖更多的网络配置,而不会耗尽芯片上的空间。
第二、从已丢弃的神经网络搜索中删除整个路径,这明显加快了神经网络搜索的速度。
第三、让神经网络搜索意识到AI系统可能正在运行的硬件的延迟时间——无论是CPU还是GPU加速的移动平台系统。
Han说,令人惊讶的是,关于一些图像识别神经网络的传统观点是错误的。在某种意义上,AI网络设计师在设计主要运行在GPU系统上的网络时,他们的想法仍然停留在CPU时代。
CNN在其图像识别算法中使用过滤器,这些算法是由3×3、5×5或7×7像素组成的正方形网格。一般来说,7x7的过滤器很少见,因为人们认为,运行更多的3x3过滤器比运行单个7x7过滤器更快。
然而,Han说,经过AI优化的AI使用了相当数量的7x7过滤器。他还表示,这是当今大多数AI计算中GPU占主导地位的原因。"目前,我们已经发现GPU上运行7x7更简单,因为GPU有很大的并行度,"Han补充道,"而且调用一个大型内核比调用几个小型内核更有效。"
在谈到他的团队的算法时,Han说:"它为人类工程师未来设计神经网络提供了良好的反馈。"然而,这并不意味着AI能够构建更强大的版本。
雷锋网注:本文作者 Mark Anderson,文章编译自IEEE
雷锋网注:【封面图片来源:网站名IEEE,所有者:iStockphoto】
Kafka监控工具EFAK安装(Eagle)EFAK(EagleForApacheKafka)是一个简单高性能的Kafka集群监控系统,实现了监控可视化操作TopicZookeeperSQL查询告警等功能,它以前的名字叫Ka
继续深挖!随着时间的沉淀,小主线逐渐清晰,教头认为市场资金介入较深的热点主要集中在汽车产业链中,从上上周开始,汽配整车等板块趋势走强,低位相关题材和个股不断被挖掘。而当前最火的细分集中在比亚
Redis作为缓存服务器的配置随着redis的发展,越来越多的架构用它取代了memcached作为缓存服务器的角色,它有几个很突出的特点1。除了Hash,还提供了SortedSet,List等数据结构2。可以持
半月谈丨向996说不?先疏通堵点向996说不?先疏通堵点半月谈记者陈旭阳娜996715007一串串代号在互联网频繁出现,共同指向讳莫如深的超时加班现象。为了劳动者体面工作幸福生活,3月以来,多省份开展集中整治超时
不给美芯留活路?中企自研芯片下放,张召忠说得很对美国对华为等中企实施的芯片断供无疑是把双刃剑,虽然暂时对中企的发展造成了阻碍,但以出口为主的美半导体市场卖的配件也少了,业绩报表股价都出现了下滑。前不久美国传出消息,高通谷歌英特尔
金海高科最新公告拟定增募资不超3。5亿元用于新能源汽车空气过滤器等项目金海高科公告,拟定增募资不超过3。5亿元,用于诸暨年产555万件新能源汽车空气过滤器研发及产业化项目珠海年产150万件新能源汽车空气过滤器研发及产业化项目和数字化管理平台建设项目。
通信行业迎来业绩回暖立讯精密(SZ002475)天孚通信(SZ300394)广和通(SZ300638)宝信软件(SH600845)通信行业整体业绩增速回升,景气度持续改善。需求提升带动上市公司营收稳步
传EA积极寻求卖身曾和迪士尼苹果亚马逊等谈判游戏行业现已进入了一个合并时代,大型发行商动视暴雪,B社,开发商Bungie等都被收购,那么作为世界上排名一直靠前的发行商EA呢?在一个人人有价的时代,关于EA的传闻倒是出奇地少。
江苏省海归人才积极投身创新创业浪潮在科技报国服务人民中成就出彩人生5月21日,南京江北新区研创园,矽典微CEO徐鸿涛仍在公司会议室里进行着团队例会分享。成立不到3年,矽典微已开发出数款传感器芯片产品,在业内崭露头角,目前企业发展正处于快速上升期。
每年遴选培育1000名数字经济卓越工程师,江苏人社出台服务数字经济发展20条现代快报讯(记者徐苏宁)每年遴选培育1000名数字经济卓越工程师聚焦重大创新平台建立事业编制周转池大力实施数字技能提升行动提升数字人社政务服务。。5月23日,现代快报记者获悉,江苏
手写一个操作系统01在真正打造操作系统前,有一条必经之路你知道程序是如何运行的吗?计算机硬件是无法直接运行C语言文本程序代码的,需要C语言编译器,把这个代码编译成具体硬件平台的二进制代码。再由具体操作