麻省理工学院可扩展光学神经网络,打破模拟计算的扩展限制
随着机器学习模型变得越来越大、越来越复杂,它们需要更快、更节能的硬件来执行计算。传统的数字计算机正在努力跟上。
模拟光学神经网络可以执行与数字神经网络相同的任务,例如图像分类或语音识别,但由于计算是使用光而不是电信号执行的,因此光学神经网络的运行速度可以快很多倍,同时消耗更少的能量。
但是,这些模拟器件容易出现硬件错误,从而使计算精度降低。硬件组件中的微观缺陷是这些错误的原因之一。在具有许多连接组件的光学神经网络中,错误会迅速累积。
即使使用纠错技术,由于构成光学神经网络的设备的基本特性,一定程度的误差也是不可避免的。一个足够大的网络可以在现实世界中实现,这将太不精确而无法有效。
美国麻省理工学院的研究人员已经克服了这一障碍,并找到了一种有效扩展光学神经网络的方法。通过在构成网络架构的光开关中添加一个微小的硬件组件,它们甚至可以减少无法纠正的错误,否则这些错误会累积在设备中。
他们的工作可以实现一个超快速、节能的模拟神经网络,该网络可以以与数字神经网络相同的精度运行。使用这种技术,随着光电路变大,其计算中的误差量实际上会减少。
在模拟系统中,较大的电路应该有更高的误差,因此误差限制了可扩展性。在这里能够用明确的是来解决这些系统的可扩展性问题。
光倍增
光学神经网络由许多连接的组件组成,这些组件的功能类似于可重新编程的可调反射镜。这些可调谐镜被称为马赫曾德尔推断仪(MZI)。神经网络数据被编码成光,光从激光发射到光学神经网络中。
典型的MZI包含两个反射镜和两个分束器。光进入MZI的顶部,在那里它被分成两部分,在被第二个分束器重新组合之前相互干扰,然后从底部反射到阵列中的下一个MZI。研究人员可以利用这些光信号的干扰来执行复杂的线性代数运算,称为矩阵乘法,这是神经网络处理数据的方式。
但是,随着光线从一个设备移动到下一个设备,每个MZI中可能发生的错误会迅速累积。可以通过提前识别它们并调整MZI来避免一些错误,以便阵列中以后的设备抵消早期的错误。
由于MZI的基本性质,在某些情况下,无法调整设备,因此所有光都从底部端口流向下一个MZI。如果设备在每一步都损失了一小部分光,并且阵列非常大,那么到最后将只剩下一点点功率。
即使有纠错,芯片的好坏也存在根本限制。MZI在物理上无法实现它们需要配置的某些设置。
因此,该团队开发了一种新型MZI。研究人员在设备的末端增加了一个额外的分束器,称其为3MZI,因为它有三个分束器而不是两个。由于这种额外的分束器混合光线的方式,MZI更容易达到通过其底部端口将所有光从外发送所需的设置。
重要的是,额外的分束器的尺寸只有几微米,是一个无源元件,所以它不需要任何额外的布线。添加额外的分束器不会显著改变芯片的尺寸。
更大的芯片,更少的错误
当研究人员进行模拟以测试他们的架构时,他们发现它可以消除许多阻碍准确性的无法纠正的错误。随着光学神经网络变得越来越大,设备中的误差量实际上会下降这与具有标准MZI的设备中发生的情况相反。
使用3MZI,他们有可能创造出一个足够大的设备用于商业用途,误差减少了20倍,Hamerly说。
研究人员还开发了MZI设计的一种变体,专门用于相关误差。这些是由于制造缺陷而发生的如果芯片的厚度略有错误,MZI可能都偏离了大约相同的数量,因此错误都大致相同。他们找到了一种方法来更改MZI的配置,使其对这些类型的错误具有鲁棒性。这种技术还增加了光学神经网络的带宽,使其运行速度提高了三倍。
现在他们已经使用模拟展示了这些技术,Hamerly和他的合作者计划在物理硬件上测试这些方法,并继续朝着他们可以在现实世界中有效部署的光学神经网络发展。
独生子女家庭是农村户口的,养老问题不知道国家有没有补助政策?我们是第一代计划生育政策下的农村独生子女。这里农村不管是不是独生子女,父母都有养老金的,一个月每人2000多点,够基本生活费了。养老保险是十来年前失土后一次性补缴了7万元不到的钱做
浙江的平均退休金高吗?为啥看到许多景点的浙江老人特别多?坐标杭州农村。刚好在这周,村组里有很多老人去长江三峡豪华游轮旅游,五晚。直飞重庆,沿江而下,到宜昌,乘动车回杭,3680人。近几年浙江老人全国到处旅游,主要是以下几点第一,浙江农村
引体向上只吊着坚持1分钟真能缓解腰椎间盘突出吗?我廿年前CT就确诊第四五节椎间盘突出了,之后坚持吊!从每次1分钟之后又做了引体向上!反正到现在70岁了也没有觉得椎间盘有什么问题!那个你要说轻轻的拉一下,也许会有点作用。以前我因为
太原目前的经济形势好吗?太原经济在喊口号,太原基础设施在路上!只是部分县区蜗牛散步,例如杏花岭区,清徐,阳曲县,娄烦!太原收入好像没有听人说过增加,而失业的人增加了!并且好多商铺,工厂由于拆迁,环保等各种
为什么现在大多数公司招聘都要求年龄35岁以下?35岁的80后就这么被排斥吗?35岁之后,不易洗脑。有独立的思想,不易管理。你懂的。不做多讲。投过简历参加过招聘会的应聘者应该对公司的年龄限制并不陌生,虽然我们的平均寿命逐年增长,但找工作的年龄红线却在逐步前移
香港浸会大学怎么样?香港浸会大学简称浸大,创建时间比较早,创立于1956年,是香港特区政府全面资助的八所公立研究型综合高校之一,获教育部列入国家重点高校名单。香港浸会大学在2019年最新公布的QS世界
被枪决的死刑犯都跪着,为什么不解开绳子?是因为害怕他们逃跑吗?这个不神秘,涉及的是心理意志人体本能和执行死刑传统习俗三方面。一当死刑犯被告知最后要执行死刑时,绝大多数死刑犯会心理和生理机能崩溃,肌肉本能松弛,严重者表现大小便失禁,脚步软踏,步
当今社会,该如何面对亲戚之间的嫉妒与敌意?嫉妒,人之本性之一也,它会表现在诸多方面,比如说你漂亮温柔又贤惠你高大威武又英俊你有职有权又有钱等等,只要你在某些方面优于别人都会受到别人的嫉妒,特别是自己身边的亲戚朋友和熟人,正
什么工作有前途?目前来看,現在为有当个有名歌手吃香挣钱,就看你有没有唱歌那方面天赋。既然题主提到工作要有前途,才有动力干下去,那么无非逃不过名和利的诱惑。那么今天就先功利性的分享一下,不说三百六十
每天工作十二个小时,包吃住,两天假期,月薪6000怎么样?大家好,这是我的一点小经验,希望大家喜欢实话实说6000元正好够我们一家的开销,每个月房贷3200,孩子上学五年级,要吃小饭桌,还要补课,还有家里的柴米油盐处处花钱,今年打算去干一
如何让员工主动找自己汇报工作?为题主点赞!这是一个管理者技术与艺术相结合才能达成的目标!一个优秀的管理者,要想让员工积极主动的找自己汇报,需要在四个版块综合发力!一技术层面的约束,是第一位要考虑的。有句话没有规
历史开讲破釜沉舟项羽的决心与悲剧历史开讲破釜沉舟是一个成语,最早出自史记项羽本纪。该成语指把饭锅打破,把渡船凿沉,比喻不留退路,做事果决。也可写作破釜沉船沉舟破釜。成语的由来是著名战役巨鹿之战中发生的。赵国被秦国
1863年殿试上,慈禧为何亲自把三甲末尾的一张试卷,提名为探花?1911年(清宣统三年)10月10日深夜,一道响亮的枪声划破长空,打破了湖北武昌城的宁静。这道枪声非同寻常,它吹响了辛亥革命的号角,也点燃了中国人民反抗封建帝制的星火。次年,清朝隆
千秋撄宁向北心千秋撄宁向北心北宋文士巩焘家族片羽颜建国在东平县老湖镇梁氏祠堂的老院,存有一块高大的太湖石,相传是北宋右朝议大夫知兖州事梁彦通二女婿巩焘所赠。朝议大夫在宋朝是正五品下的官衔,属于地
为什么说三省六部制是古代皇权和相权矛盾相交锋的产物?西方一直认为他们所沿用的三权分立制度是最民主的国家政治体制,可马克思韦伯曾经断言过西方的政治体制来源于中国古代的体制。隋唐时期产生的三省六部制与如今西方各国所沿用的三权分立有共通之
刘邦为什么非要除掉韩信等功臣,其中的原因,并非兔死狗烹秦朝末年,天下大乱,陈胜吴广首举反抗大旗,引燃燎原之火,被秦灭亡的原山东六国贵族后裔,纷纷跳将出来,扯旗割据。势头最威猛,实力最强大的,非项氏叔侄莫属。在叔叔项梁死后,年方二十五岁
汉朝吕后一族要怎么才能避免被消灭历史开讲诸吕没有退路,只有背水一战夺取大权,如果抱有侥幸心理归还兵权只求活命,则必死无疑。这是血淋淋的政治!吕后死后,汉朝统治者内部有三个集团刘氏皇族集团吕氏外戚集团功臣集团。吕氏
警惕!前苏联的历史教训正悄悄的在我国重演千万不要忘记了,当年苏联共产党在拥有20万党员时建立了苏维埃政权,在拥有200万党员时打败德国法西斯保卫了政权,在拥有2000万党员时却失去了政权。究其原因,就是因为苏维埃社会主义
都是资本主义,都信仰基督教,为啥西方国家把俄罗斯当死敌?我一直好奇一件事,既然俄罗斯和以美国为首的西方国家政治制度相同,都属于资本主义信仰的宗教相同,都属于基督教人种都是白色人种俗话说物以类聚,人以群分,可是为什么西方和俄罗斯就聚不到一
蜀灭亡后,为何张飞一家无人敢动,关羽却满门被杀?背后是何缘由张飞关羽二人是家喻户晓的三国人物,他们的故事被演绎成小说和戏剧,为我们所熟悉。但他们的后人结局如何,却鲜有人所提及。据蜀记记载庞德子会,随军伐蜀,蜀破,尽灭关氏家。庞德是当年关羽水
铠甲迎战著书立说徐皇后能文能武明成祖朱棣皇后,有勇有谋能文能武,攻城时披铠甲迎战,盛世时著书立说。她薨逝后,皇帝追思不已,终身不再立后。徐氏是明朝开国功臣徐达的长女,她自幼文静,喜欢读书,人称女儒生,以贤淑才女
李秋平这种混子的升迁轨迹,让多少德才兼备的人寒了心!江西某县李秋平,可谓彻底火了。竟然敢动钦差大臣,真的是色胆包天。他的问题,远不止如此。这位美女干部是好样的,敢于举报,敢于揭发。才能让李秋平落马,社会治理更加和谐。一县之长的李秋平