神经网络debug太难了，这里有六个实用技巧

　　机器之心报道
　　编辑：Liyuan、蛋酱
　　神经网络的 debug 过程着实不容易，这里是一些有所帮助的 tips。
　　基于神经网络的项目瓶颈通常并非对网络的实现。有时候，在编写了所有代码并尝试了一大堆超参数配置之后，网络就是无法正常工作。尤其是面对着数百万的参数, 任何一个小变动都有可能前功尽弃。
　　在面对各种各样的问题后，有人总结了一些帮助调试神经网络的实用 tips，希望能够减少大家调试神经网络的成本。
　　检查梯度问题
　　有时梯度是引发问题的原因。下面是几种与梯度相关的调试方法：
　　数值计算每个权重的梯度。这通常被称为「梯度检查」，有助于确保正确计算梯度，其中一种方法是使用有限差分。
　　比较每个权重的大小和梯度的大小。要确保大小的比率是合理的。如果梯度大小远小于权重大小，网络将花费很长时间进行训练。如果梯度大小与权重大小大致相同或更大，网络将非常不稳定，可能根本不会训练。
　　检查梯度爆炸或消失。如果梯度变为 0 或 nan/infinity，则可以确定网络没有被正确训练。需要首先弄清楚为什么会发生爆炸 / 消失梯度，是否步数太大。一旦弄清楚梯度爆炸 / 消失的原因，就有各种解决方案来解决这个问题，例如添加残差连接以更好地传播梯度或简单地使用较小的网络。
　　激活函数也会导致梯度爆炸 / 消失。如果 sigmoid 激活函数的输入太大，梯度将非常接近 0。随着时间的推移检查激活函数的输入，然后确保这些输入不会导致梯度始终为 0 或很大。
　　检查训练过程
　　经常检查网络的训练进度可以节省时间。以训练贪吃蛇游戏为例，不是训练网络好几天，然后再检查网络是否学到了什么，而是每十分钟用当前学到的权重运行游戏。几个小时后，如果我们注意到每次都在做同样的事情并且获得零奖励，就知道可能有问题了，而这节省了几天的训练时间。
　　不要依赖定量输出
　　如果只查看定量输出，我们可能会错过有用的调试信息。例如，在训练语音翻译网络时，比起只检查评估函数是否在减少，更重要的是阅读翻译后的语音以确保它有意义；当训练一个用于图像识别的网络时，一定要确保手动检查网络提供的标签。
　　不应该依赖定量输出的原因有两个：首先，评估函数中可能存在错误。如果只查看错误评估函数输出的数字，可能需要数周时间才能意识到出现问题。其次，在神经网络输出中可能存在无法定量显示的错误模式。我们可能会意识到某个特定单词总是被错误翻译，或者在左上象限的图像识别网络总是错误的。这些观察结果反过来可以帮助找到数据处理部分的代码 bug，否则这些 bug 将被忽视。
　　尝试小数据集
　　确定代码是否存在 bug 或数据是否难以训练的另一种方法是首先拟合较小的数据集，比如将数据集中 100000 个训练示例修剪成只有 100 个甚至 1 个训练示例。如果在一个训练示例的情况下，网络仍然有很高的测试错误，不能够非常好地拟合数据，那么几乎可以肯定网络代码有问题。
　　尝试更简单的网络
　　如果全尺寸网络在训练时遇到问题，可以尝试使用层数较少的较小网络，这样可以更快地训练。如果较小的网络在全尺寸网络失败的情况下成功了，则表明全尺寸模型的网络架构过于复杂。如果简单网络和全尺寸网络都失败，则代码中可能存在 bug。
　　试着使用框架
　　如果没有使用机器学习框架编写神经网络的代码，那么可以通过在机器学习框架中编写相同的网络架构来检查问题何在。然后将打印语句放入非框架版本和框架版本中逐层比较输出，直到找到打印语句出现差异的位置，即错误所在。如果在反向传播期间发生错误，则可以从最后一层开始逐层打印权重的渐变，直到找到差异。但是此方法仅适用于网络的第一次迭代，因为由于第一次迭代输出的差异，第二次及以后的迭代将具有不同的起点。
　　参考内容：https://towardsdatascience.com/debugging-tips-for-neural-networks-f7dc699d6845

恢复旅行社及在线旅游企业经营跨省团队旅游及机票酒店业务7月14日，文化和旅游部办公厅关于推进旅游企业扩大复工复业有关事项的通知发布，全文如下文化和旅游部办公厅关于推进旅游企业扩大复工复业有关事项的通知各省自治区直辖市文化和旅游厅（局）景泰万亩葵花吸引八方游客金秋八月正扬帆，景泰葵花遍地开。八月的景泰大地，万亩葵花向阳而立，美不胜收。8月9日，甘肃景泰2020葵花观赏活动正式拉开帷幕，巍巍寿鹿山下，金灿灿的葵花争奇斗艳，带给游客独特的观兰州市休闲农业与乡村旅游产业协会聚力打造产业集群12月26日，兰州市休闲农业与乡村旅游产业协会举办年会，表彰优秀会员单位和个人，总结2020年工作，安排部署明年重点任务，推动兰州休闲农业和乡村旅游全面振兴。当天，永登越国开心农庄旅游业在总结与探讨中整合资源共谋发展在辞旧迎新的年末之即，由兰州市城关区旅游发展行业协会主办的年终总结大会于12月29下午召开，来自省内外各旅游景区及文旅界旅游界书画与摄影界及相关领导嘉宾会员单位300多人欢聚在兰州我是吃阳光的人我以吃阳光，汲入光芒为每天的主食，这样一来，造成我的生活，过的十分无聊，我是一个什么样儿？生活在什么家庭呢？我在生物界，无法说清我的容貌？知道我，天天活的无聊。我是一个真正的什么？一款译出植物心态的翻译器一款译出植物心态的翻译器有一家人工智能公司，研制出一件植物的翻译器，它透过观察叶子，茎根，闻出它们吐出的芳芬，依赖它的生长态势，翻译这一棵，处于怎样的内在？这一件翻译器，在生活，己读出可懂植物的翻译器一家人工智能的公司，研制出一款植物的翻译器，此种译器，利用直观植物的叶子，茎树皮，闻起它吐出的芳芬，依照它的生长态势，读出这一株植物，处于怎样的内在？这一款翻译器，是这一前沿公司研人性化的未来公司最近，某地的人们，发现了一种树，这个树，叫套房树。这种树的外表，呈现五颜六色的树皮，一般树干挂着七，八片蒲扇的青叶子，人们发现它的根，时间一长，构成一个树洞，人们把它叫做套房树。一秋日的阳光秋日的阳光秋天的阳光，是人人喜欢的光辉我在一个秋天的早上，从租屋，向城中心找活，此时阳光晒在全城的上空，也晒在我心中太阳光，你是暖和的棉袄，你的光，如象家庭的火坑。一早，城里一路摇未来和星系握手我CC小村子的一边，有一块寸草不生，破烂不堪荒芜的地方，数百年来，怎么啦？村人从不走过那一片地方，不过去耕作，听说，那一块空气稀薄，缺小氧气，成为风吹不去，落雨不到的地方，所以造成在阳光中的小雨一早，我走进城市的市区，探头一看，见淅沥沥的小雨，落在阳光中？现在，看吧我的小雨，在阳光的怀中，恣意地落下，一看，太阳是一个阳光型的男人，雨是阳光的女人。在阳光下，下着小雨，是很小

<<<<<<－>>>>>>

你不知道的冷知识（十二）广告为什么找美女代言美女真的能卖掉东西吗，是的，我们只要见到某样东西，就能影响我们看待周围世界的方式。看到美女会引发人们联想到好，进而泛化到人们对其他事物的评价。消费者看到美女后再去购物，对产品的评价你不知道的冷知识（十一）一定要睡足7个小时吗我们身体不是电脑，可以随时开关机。无论你如何透支生命，一生中大部分时间都将花在呼呼大睡上，一个人如果连续五天不睡就可能危及生命。睡眠甚至可以被称为人生中的头等大事。充足的睡眠是为了你不知道的冷知识（八）人为什么笑笑是人类与他人进行交流的最古老的方式之一。经常笑可以提高人的免疫力，在地球上的生物中，只有人类和一部分动物会笑，心理学家还发现笑是人类与他人进行交流的最古老的方式之一。笑误读酒肉穿肠过佛祖心中留现在许多人喜欢说酒肉穿肠过，佛祖心中留。济公和尚的这句话，往往被他们拿来当挡箭牌，成为可以肆意吃肉喝酒的铁证。实际上世人仅知有前两句，却不知济公还有后两句世人若学我，如同进魔道，从我读世界地理未解之谜第1章地球的起源之谜地球是如何诞生的简要地说就是目前没有准确的说法。有些说法至少还贴点边，要想解释地球的起源就要解释清楚太阳系的起源，1755年德国的康德发表了一套天体论说，还算靠你不知道的冷知识（四）为什么人们越舒服就越抑郁抑郁症患者被认为是世界上最消极悲伤的人，与常人相比，他们偏于安静话语不多不喜欢成为焦点，消极待人对物，缺乏自信，无法充分享受生活之乐，并倾向悲观厌世。抑郁症你不知道的冷知识（九）为什么靠边的座椅受欢迎在地铁始发站上车的乘客，面对空空的长条座椅，排在前面的乘客，大多会选择最靠边的座位，很多人都有过这样的体验。如果座椅的空间足够大的话，乘客都会选择和别人保持一你不知道的冷知识（十五）解酒药真的可以让人千杯不醉吗酒桌上，常用来劝酒的辞令脸红说明代谢快酒量大，其实并无多少依据，科学研究的回答是，喝酒脸红反而是不能喝酒的表现。酒精这种化学物质主要在肝脏内被分解代谢。首先，乙醇脱氢酶将它撕裂为乙你不知道的冷知识（二）向高手学习为何取不来真经为何我们感觉的往往与实际情况有很大的距离？统计学将这类因结果导致的错误认知的情况，称为幸存者偏差。现在网上充满了各种兼职，琳琅满目，都看花眼了，各种日赚5001000元。于是就有各我曾经这样过我是一个平凡的人，正经的九零后（九零年出生），没有跌宕起伏的人生，没有远大的理想。回忆起过去的事情，还是经历很丰富的。我曾经逃过课，玩大型游戏机被抓过（笤扫嘎达一顿抽）我曾经舔过墙你不知道的冷知识（六）剧透竟然会让故事更精彩对于各种电影电视剧的粉丝来说，剧透都是一件恼人事，和朋友一块儿聚餐，总有个别人在讨论最新一集自己还没来得及看的电视剧情。太讨厌了！！！某国心理学最新研究发现，