机器之心报道 编辑：小舟 DeepMind 的研究科学家和工程师亲自讲授了一套强化学习课程，目前已全部上线。 DeepMind 作为全球顶级 AI 研究机构，自 2010 年创建以来已有多项世界瞩目的研究成果，例如击败世界顶级围棋玩家的 AlphaGo 和今年高效预测的蛋白质结构的 AlphaFold。 近几年，DeepMind 联合伦敦大学学院（UCL）推出了一些人工智能线上课程，今年他们联合推出的「2021 强化学习系列课程」现已全部上线。该课程由 DeepMind 的研究科学家和工程师亲自讲授，旨在为学生提供对现代强化学习的全面介绍。 课程主页：https://deepmind.com/learning-resources/reinforcement-learning-series-2021 课程介绍 本次课程共包括 13 节，涵盖了顺序决策问题中强化学习和规划的基础知识，并进一步讲解了现代深度强化学习算法。其中详细讲解了强化学习的多个主题，包括马尔科夫决策过程（MDP）、基于样本的学习算法（例如双 Q 学习、SARSA）、深度强化学习等，还探讨了一些更高级的主题，包括 off-policy 学习、多步更新和资格迹（eligibility traces），以及实现 Rainbow DQN 等深度强化学习算法需要的理论和现实条件。 下面我们来看一下各节课程的具体内容。 第 1 讲 强化学习简介：DeepMind 研究科学家 Hado van Hasselt 首先简单介绍了本次强化学习课程的内容，然后讲解了强化学习与 AI 的关系。 第 2 讲 探索与控制：Hado van Hasselt 讲解了为什么学习智能体必须同时做到平衡探索和利用所获的知识。 第 3 讲 MDP 和动态规划：DeepMind 研究科学家 Diana Borsa 讲解了如何使用动态规划解决 MDP 以提取准确的预测和良好的控制策略。 第 4 讲 动态规划算法的理论基础：Diana Borsa 讲解了动态规划算法的扩展和收缩映射定理（contraction mapping）。 第 5 讲 无模型预测：Hado van Hasselt 仔细讲解了无模型预测及其与蒙特卡罗和时间差分算法的关系。 第 6 讲 无模型控制：Hado van Hasselt 讲解了用于策略改进的预测算法，以产生可以从采样经验中学习良好行为策略的算法。 第 7 讲 函数近似：Hado van Hasselt 讲解了如何将深度学习与强化学习结合，以实现「深度强化学习」。 第 8 讲 规划与模型：DeepMind 研究工程师 Matteo Hessel 讲解了如何学习和使用模型，包括 Dyna 、蒙特卡洛树搜索 (MCTS) 等算法。 第 9 讲 策略梯度和 Actor-Critic 方法：Hado van Hasselt 讲述了可以直接学习策略的策略算法，并进一步讲解了结合价值预测以提高学习效率的 actor critic 算法。 第 10 讲 近似动态规划：Diana Borsa 讲解了近似动态规划算法，探讨了如何从理论的角度分析近似算法的性能。 第 11 讲 多步和 off-policy：Hado van Hasselt 讲解了多步和 off-policy 算法，包括多种减小方差的方法。 第 12 讲 深度强化学习 #1：Matteo Hessel 讲解了深度强化学习的实际要求和具体算法，以及如何使用自动微分（Jax）来实现。 第 13 讲 深度强化学习 #2：Matteo Hessel 讲解了通用价值函数（general value functions）、基于 GVF 的辅助任务，并进一步讲解了如何处理算法中的扩展问题。 DeepMind 研究者亲自授课 该系列课程的讲师是 DeepMind 的研究科学家和工程师 Hado van Hasselt、Diana Borsa 和 Matteo Hessel。 Hado van Hasselt Hado van Hasselt 是 DeepMind 的一名研究科学家，也是伦敦大学学院（UCL）的荣誉教授。Hado van Hasselt 博士毕业于世界顶尖公立研究型大学和百强名校乌得勒支大学，他的研究兴趣包括人工智能、机器学习、深度学习，并重点研究强化学习。 Diana Borsa Diana Borsa 是 DeepMind 的研究科学家，也是 UCL 的荣誉讲师。她的研究兴趣主要是强化学习、机器学习、统计学习和通用人工智能（AGI），涵盖智能体学习、交互系统、多智能体系统、概率建模、表征学习等。 Matteo Hessel Matteo Hessel 是 DeepMind 的一位研究工程师，也是 UCL 的荣誉讲师。他的研究重点是强化学习及其与深度学习的结合。Hessel 曾在 NeurIPS、ICML、ICLR、AAAI 和 RLDM 上发表过十余篇论文，这些论文的引用次数超过 4000 次，并获得了 2 项注册专利。
机头直径跟苏57一样大，细看俄罗斯轻型五代机，总体设计十分优秀俄罗斯轻型五代机公开亮相之后，很多人对它不屑一顾，认为俄罗斯航空工业已经是无可奈何花落去，风光不再了。但实际上，在这款飞机上的许多细节，都独具匠心，可以说，是目前这一吨位的五代机最真是终极版米格21？俄单发五代机又有新图曝光，凹型进气道好稀奇随着2021年莫斯科航展的临近，大家对俄罗斯新型五代机的兴趣也与日俱增，特别是对它的进气道，呈现出几种不同的声音。一部分人认为，它采用的是类似波音竞标JSF失败的X32下颌进气道方轻型五代机不能有侧弹舱？俄罗斯恕我直言你们都是垃圾五代机相比之前的战斗机，有一个明显的特征，那就是隐身，而为了隐身，以往挂在机翼下威风凛凛的导弹，就必须想办法塞进肚子里藏起来了，这就涉及到内埋弹舱。内埋弹舱是要占据大量空间的，对于核弹发射井布置得如此密集，像风力发电厂？美空军兵者，诡道也在大家的印象中，核弹发射井是大国重器，是战略反击的支柱力量，当然不能密集布置在一起，被敌人一锅端可就太不划算了，还会误大事。但是，这个世界上很多事情往往超过我们的认知，上个世纪70那些年那些俄罗斯想卖给我们的战斗机，为何都竹篮打水，一场空？我国引进过相当多的苏俄战斗机和技术，从早期的米格15米格17米格19米格21，到上世纪90年之后的苏27苏30苏35，可谓是玲琅满目。不过，也有一些型号，是俄罗斯想卖给我们，却被我是苏57出了轨，还是X32劈了腿？俄罗斯轻型五代机揭幕，真相来了俄罗斯轻型五代机面世之后，外界对它展开了瑰丽的想象，进气道发动机弹舱等关键部位皆成为大家关注的重点。但由于它一直裹着黑布，所有评论都是雾里看花，直到7月18日傍晚，网络上突然发布了比想象中要大得多，俄新五代机体型超过F35FC31，根本不是轻型机说到俄罗斯这次亮相的新型五代机，大家都喜欢用轻型来称呼它，甚至认为它就是终极版米格21。确实，最大起飞重量18吨，远不及FC31的26吨和F35的27到31。8吨。不过，这一切都只歼8II能爆改成隐形飞机吗？曾枪挑F22，真有黑科技说到歼8II战机，相信很多人都听说当年在军事论坛里枪挑F22的故事。它虽然只是一个假想，但那个年代，歼10歼20FC31都未面世，苏27歼11数量也非常稀少，歼8II就是我们最先进末日飞机三国杀，美俄正在研制第三代，我国尚未起步最近，俄罗斯宣布以大型宽体客机伊尔9640M为基础，建造新一代末日飞机。所谓末日飞机，其实是一种大规模核战争的空中指挥所，它主要用于在地面和地下基地遭受敌人核打击之后，指挥全国空基真的有米格41战斗机吗？俄罗斯将军你看我像不像？米格41想象图米格41发射导弹想象图相信很多人都看过这样一组所谓终极版米格21的图片，并坚信它的真实存在，还给它上了户口米格41。但实际上，这只是国外艺术家RenderDock于2美军外星战舰退役了，再见独立号，濒海战斗舰真是鸡肋？说到美军的濒海战斗舰，很多人都知道它有两种构型，传统船型浅排水的自由级，以及三体设计的独立级。特别是独立级，外形科幻，看起来像外星战舰一样。然而如此拉风炫酷的战舰，在服役11年半后