摘要 神经网络需要输入数据的正确表征来学习。近日发表于 Nature Machine Intelligence 的新研究考察梯度学习如何塑造循环神经网络（RNN）表征的一个基本属性ーー它们的维数。通过模拟和数学分析，研究展示了梯度下降法如何引导 RNN 压缩其表征的维度，在一定程度上满足训练期间的任务需求，同时支持泛化到未知示例。为达成这一目标，需要在训练的早期扩展维度，在训练后期压缩维度，研究发现具有强混沌特性的 RNN 似乎特别擅长学习这种平衡。该研究除了有助于阐明适当初始化的 RNN 对训练的益处，还揭示了大脑中的神经回路与混沌的关系。总之，该发现显示了简单的基于梯度的学习规则如何引导神经网络产生可解决任务的鲁棒性表征，这样的表征可以泛化到新情况。 研究领域：表征学习，剃度下降，循环经济网络，混沌，网络动力学 论文题目： Gradient-based learning drives robust representations in recurrent neural networks by balancing compression and expansion 论文链接： https://www.nature.com/articles/s42256-022-00498-0 1. 如何确定合适的表征维度？ 在有监督学习前，将原始数据转换为适合的特征必不可少，该步骤被称为 表征学习 。其中关键的步骤是确定数据的维度，高维表征可以包含有用特征的非线性组合，适合据此构建简单的分类模型，而低维的表征可以保留关键特征，允许基于更少的参数和例子进行学习，因此具有更好的泛化能力。 由此一个有现实意义的问题是，如何确定合适的表征维度。该研究证明，RNN 的动力学特征能够基于梯度下降产生适合的表征维度。具体的算法步骤如图1，其中输入是待分类的高维数据，之后模型在训练过程中，以上一层的输出为输入构建数据表征 （尝试构建一个能够区分两类数据的超平面） ，最后将前9步的表征加和，通过分类算法的准确度评价表征模型。而表征模型的训练则依据评价结果，使用梯度下降进行。 图1：算法的任务和使用模型的图示 2. 神经网络与混沌 在已知数据隐藏的维度是两维时，该实验对比了处在混沌边缘与强混沌状态的RNN网络，发现处于强混沌状态的网络达到相近的分类精度，所需的训练数据更少 （图2d） ；训练后能够得到合适的有效表征维度 （图2e） ，对训练后得到的表征使用线性回归进行分类时，准确性更高 （图2f） ，泛化能力更好 （图2g） 。 图2：二维输入分类网络学习的动力学和几何性质 以上数据说明，对于隐藏维度大于等于2维的情况，处于强混沌状态的RNN能够学得合适的隐藏维度，并得出可用线性模型进行分类的表征。相比处于混沌边缘的RNN，处于强混沌状态下的RNN效果更好。 之所以RNN能通过学习得到压缩表征，可以来自稳定不动点的形成 （对于最初处于混沌边缘的网络） ，也可以来自低维混沌吸引子 （对于强混沌状态下的网络） 。这意味着通过训练稳定的网络学习解决任务时，经过训练的评估期前后对比，保持混乱的那部分网络会被重置。前者 （处于混沌边缘的网络） 可能有利于长期记忆；后者 （来自低维混沌吸引子的网络） 可以用于灵活地学习新任务。 3. 表征模型的学习机制 之后，将评价指标由衡量分类结果的交叉熵，变为衡量分类置信度的均方误差损失，通过使用连续而非离散的评价指标，可研究表征模型的学习机制。发现在不向节点加入随机噪音时，训练过程中模型不会试图降低有效维度 （图3c左） ，而是始终让模型的预测误差极低 （用更多的表征换取更好的预测效果） ，然而 包含噪音的模型会试图降低有效维度 ，尽管这样会导致预测误差增大。而图3d展示了训练完成时最终的有效表征维度，训练过程中，神经元梯度增加的高斯噪音比例越大，模型就能够更快学到合适的隐藏维度。 图3：使用均方误差损失，可使RNN在包含噪音时持续学习合适的隐含维度 进一步对比不同的正则化方法带来的影响：图4a是不包含噪音时，不同大小的训练批次 （batch size） 最终学到的维度；图4b左边是训练过程中神经元梯度添加白噪音时的情况，右边是包含白噪音，且采用dropout进行正则化的影响；图4c从左到右分别展示了加入较弱、中等水平、较强L2正则化项时的情况。可以看到使用强L2正则，以及drop out时效果接近，都能够在包含白噪音时，学到合适的隐藏维度。这说明该 RNN学习的机制正是基于学习过程中的随机噪音 。 图4：在隐藏神经元加入噪声，结合正则化使网络习得合适的隐藏维度 总结来看，该研究指出RNN可以学会以一种适合于手头任务的方式来平衡表征学习中的压缩和混沌，从而得到适合的表征维度，而学习过程中的驱动力来自神经元梯度改变过程中的噪音。目前对大脑所使用的学习规则的理解仍然处在早期阶段，而一个常见的假设是大脑以梯度下降的方式进行学习，该研究增强了该假说的可行性范围，并提出了两个可能的学习机制 （白噪音及正则化） 以及对应的验证方式。 郭瑞东 | 作者 邓一雪 | 编辑 商务合作及投稿转载 swarma@swarma.org 搜索公众号：集智俱乐部 加入＂没有围墙的研究所＂ 让苹果砸得更猛烈些吧!
严惩董瀚麟！肘击孙铭徽胸部，连环脚绊倒赵嘉仁，裁判闫军不能忍严惩董瀚麟！肘击孙铭徽胸口，连环脚绊倒赵嘉仁，裁判闫军不能忍。北京时间4月15日CBA半决赛继续进行，目前上海队与浙江广厦队的比赛已经进行到了第四节，广厦队以10696再次战胜上海李霄鹏等待进京述职训练，总结再训练，再总结。从4月3日开始，结束了12强赛征程的国足回到海口之后，便开始了这样的节奏，而因为带队成绩欠佳被推进了辞职漩涡的李霄鹏，也一直尽心尽力地履行着自己球队主教练离婚6年后，再看刘翔葛天的婚姻，才明白他们离婚是最好的选择如同每一次比赛每一次公开恋情一样，刘翔的离婚也被媒体争相报道。2015年6月25日下午4点，刘翔在社交平台公开发表离婚宣言。这对恋爱仅4个月，婚龄不到1年的夫妻，就此劳燕分飞。性格篮网193特工靠哈登发家！1挡2换3助4抛投堪称万金油纳什在最近两个赛季对于小球战术的执着，一度让篮网找不到真正的战术核心，不过纳什并没有因为这样便改变自己的战术布置。在纳什的战术理念中，对于内线的机动性要求非常高，而这或许也是格里芬都是为钱，有人不顾晚节用足了演技，有些却站着把钱赚了潘长江灌醉茅台董事长拿到定价一事有了最新进展。据报道，继出面否认，要求对方公开道歉后，潘长江已决定起诉直播造谣者。女儿潘阳转发律师声明力撑老爸，称假的成不了真。今年3月15日，有媒巴克利库里不能入超巨行列，现役联盟超巨依旧2人，巨星剩2人巴克利认为，库里虽然是个划时代的球员，但是在统治力方面不具备超级巨星气质，现役联盟超级巨星依然只有2个人，分别是伦纳德和詹姆斯，巨星也就两个人分别是库里，杜兰特。小卡现在还不如库里大量苹果堆积，销售量却不见上涨，通过囤货来炒价究竟行不行？苹果是我们生活中非常常见的水果之一，因其耐储存的特性，销售期可以拉的很长，几乎全年可见。一些货商正是抓住了苹果的这一特点，打起了操控苹果市场的坏心思。按照往年的规律，苹果通常在45现代奥林匹克运动发展与奥运会主办城市分布图从1896年的希腊雅典开始，一百多年来已经成功举办的32届夏奥会，为欧洲北美洲南美洲大洋洲亚洲24个城市带来奥运荣光。1924年，从法国夏慕尼举办第1届冬奥会开始，冬季奥运盛会的脚极目锐评青岛队的退出，仅是足坛地震的开始极目新闻记者邓鹏伟4月12日，一份关于青岛足球俱乐部退出中国职业足球联赛的情况说明（以下简称退出说明）在中国足坛引发了极大的震动这是短短7天之内第4支宣布解散的球队！相比贵州和福建基金一直绿，我却靠TA实现财务自由年轻的基民怀揣着暴富的梦想跑步入场，本想着把自己辛苦赚来的血汗钱，交给基金经理，帮自己实现财富自由，成为人生赢家。殊不知，十个有七个成为了被割的小韭菜，于是跌妈不认的年轻基民们，已全国统一大市场是啥？旅游人解析对旅游业的影响，春天会到来吗？全国统一大市场是啥？旅游人解析对旅游业的影响，春天会到来吗？4月10号国务院发布了中共中央国务院关于加快建设全国统一大市场的意见，作为一名底层旅游人，也希望能够看清发展形势，能够做