6个月写50篇AI论文摘要，网友这有啥，曾1。5小时内复现一篇论文

　　机器之心报道
　　编辑：杜伟、陈萍
　　快速阅读论文是研究人员不可或缺的一项技能，有人需要很长的时间才能理解一篇论文，而有的人几个小时就能掌握全部内容。本文中 Kirill Demochkin 仅用 2.5 个小时就能完成论文阅读、写摘要到发布博客。我们不妨看看他是如何实现的。
　　一万个人心里有一万个哈姆雷特，对于论文写作与阅读，每个人都有自己的观点与方法。
　　写作和阅读论文是研究人员必备的核心技能。一篇好的论文涉及多方因素，作者要准确传达核心观点，并证明其是可行的。想要达到这一目的，作者应当从语句、段落、章节、全文等多方面做好论文的结构。
　　AI 领域的论文更是如此，养成良好的写作习惯、追求有洞见有影响力的论文、论文极致精炼且阐述尽量简洁、要有准确的定位，这些经验似乎已经成为论文写作的准绳。
　　三星人工智能中心的 AI 研究科学家、Casual GAN Papers 网站创始人 Kirill Demochkin 一直致力于论文写作方面的经验分享。近日他发布了新的文章，主题为「过去 6 个月为 50 篇 AI 论文撰写摘要，从中学到了什么？」
　　Kirill Demochkin
　　在这 50 篇论文中，大约 40% 关于 GAN 或 GAN 相关，其余为 NeRF、Visual Transformers、CLIP 以及其他看起来有趣的主题。
　　Kirill Demochkin 表示，自己每周写两篇摘要已经有一段时间了，所以想分享一些过程中学到的技巧！
　　首先，他从头到尾读完一篇论文，写摘要，把图形编译成一张图片，然后发布到频道和博客上通常需要 2.5 个小时。他主要选择那些看起来有吸引力以及在推特上引起很大轰动的论文。他还倾向于「有趣」的论文，这些论文有酷炫的图像、动态展示结果以及引人注目的标题。一旦决定要为一篇论文写摘要，他就会检查是否有任何与之相关的「必需」阅读，然后弄清楚新方法试图解决什么问题，以及现有方法为什么不够用。
　　然后，他会浏览「方法」部分，查看论文图表。
　　最后，确保「实验」部分在数字、指标、基线和消融方面有意义。
　　至于为什么要花 6 个月的时间为 50 篇 AI 论文撰写摘要？他认为，快速阅读论文是所有研究人员的一项必备技能，尤其是飞速发展的 AI 领域。对自己看过论文的 idea 进行总结可以更好地记住它们。
　　Demochkin 提到从阅读论文到发布博客需要 2.5 个小时。对此，有网友提问道，「2.5 个小时是整个过程，还是只是阅读论文的时间？在一次面试中，我被要求在 1.5 小时内阅读并复现一篇 AI 论文（论文大概 6-10 页），我甚至论文都没看完，显然我没得到那份工作。我在想是不是只有我一个人应该提高自己的水平，还是在 1.5 小时内不能完成整个过程很正常。」
　　还有网友表示：「这取决于我想深入研究的深度和我对该领域的熟悉程度，但我可能需要几个小时才能彻底阅读一篇不熟悉的论文并写出笔记。实现所需的时间差别很大，但在 1.5 小时内完成所有这些听起来有点疯狂，除非它真的很简单。」
　　还有人觉得这听起来很疯狂。
　　Kirill Demochkin 阅读论文技巧
　　Kirill Demochkin 查看论文的资源来自 paperswithcode、reddit，以及同事分享的 feedly 列表。
　　了解背景知识
　　论文不是凭空写的，几乎任何一篇论文都有前期研究，甚至是像 NeRF 这样的突破性研究。理解前期工作能够帮助我们了解所提方法潜在的优缺点。不幸的是，我们不能花费一周的时间来研究论文中所引用的论文，以构建这一背景知识。因此最好的策略是通过明确写出一篇论文试图解决的具体任务、现有的替代解决方案、这些解决方案会带来的问题，以及为什么作者认为他们的方法避开了这些问题。
　　把握文章主旨
　　阅读文章时首先要阅读章节和小节标题，并将它们与文章中提出的架构 / pipeline 的图形部分联系起来。这样，在阅读文章细节之前，你会在脑海中勾勒出论文大概框架。
　　对实验进行全面检查
　　文章作者通常会将所做的研究进行打包，以软件包的形式呈现出来。但是这样做，有时会遗漏一些重要细节。通常来说，对研究打包是很好的，但是，从另一方面你可以根据遗漏的内容和原因获得更多的见解。要实现这一点，你需要做到以下几条： 检查基准：最近有没有什么方法被忽略了？ 控制变量检查：是否对 pipeline 中的每一部分都进行了测试？ 检查数据：是否有已知的数据集没有在实验结果中提到？也许，被遗漏的数据集有一个共同的特点，即指出了所提方法的写论文
　　刘知远为 NLP 领域的学生如何写出一篇合格的论文提供了一些建议，简单总结如下： 论文整体思路：问题务求挑战，模型务求创新，实现务求准确，实验务求深入。 一篇 NLP 论文的典型结构：摘要、介绍、相关工作、方法、实验和结论。每个部分都要各司其职，向学术界同行清晰准确地描述成果的创新点、技术思路、算法细节和验证结果。 介绍是对整个工作的全面介绍，是决定一篇论文能否被录用的关键。一般情况下：起手介绍研究任务和意义；随后简介面向这个任务的已有方法；接着说明已有方法面临的关键挑战；针对这些挑战，本文提出什么创新思路和具体方法；最后介绍实验结果证明本文提出方法的有效性。 摘要可以看做对介绍的简介，最简单的做法是，从介绍各部分精简 1-2 句话组成摘要。 相关工作部分主要是介绍本文任务和方法的相关工作，目标是通过对已有工作的梳理，凸显本文工作的创新价值。对已有工作的梳理，不应是对每个工作的简单介绍，而应当注意汇总、分类、分析，或者按照时间发展顺序，或者按照技术路线划分。 方法部分要详细介绍本文创新方法的具体细节，由于涉及非常艰涩的细节，采用「总 - 分」结构来介绍。 实验部分要详细介绍与实验相关的具体细节。一般先介绍实验数据、评测标准和比较方法等基本信息。 论文最后会有总结展望，一般用一段来再次总结和强调本文的创新思路和实验结果，然后说明未来建议的研究方向和开放问题。这部分相对来讲比较固定。稍微留意的是，在准备论文最后阶段，如果发现论文有哪些应当做还没来得及做的，可以写作本文的未来工作。
　　总之，刘知远认为，要想写出一篇合格的 NLP 论文，首先是态度问题，只有态度重视，才有可能不厌其烦地反复修改，才会「不择手段」地寻找各种办法来尽力改进论文（找学长找外教借助 Grammarly 工具等）。其次是动手问题，只有写下来，才可能不断改，只要改就能不断进步。最后是经验问题，要写得精彩可能需要天赋，而要写得合格，只要坚持写，不断根据评阅人和其他人的意见进行思考和修改，就可以进步。总之，坚持就是胜利。
　　读论文
　　在 CS230 课程中，吴恩达对于研究规划与如何读论文也提出了他的一些建议。
　　如果要高效地阅读论文，吴恩达表示我们想要知道论文的来源，例如 arXiv 或个人博客等。下面，如果我们列出 5 篇待读论文，那么吴恩达的习惯是每一篇列一行，表示从 0 到 100 的阅读进度。最开始我们只需要阅读每一篇的 10% 左右，如果发现论文 2 不是我们想要的，就终结它。如果论文 3 是重要的，那么仔细阅读到进度 100%。
　　由论文 3，我们可以发现其它相关研究，因此也可以加到论文列表中，例如第 6、7 篇。读完论文 3 也许会发现论文 4 也非常有意思，那么结合 4、6、7 继续阅读，并记录阅读进度。
　　最后，如果阅读 5-20 篇论文，差不多我们对该领域就有一定的了解了。如果高效阅读 50 到 100 篇论文，那么对该领域的理解就比较完整了。Ng 的背包内每天都会带一个文本夹，里面的纸质打印论文就是他的论文列表。
　　那么具体如何阅读一篇论文呢？吴恩达表示，从第一个词浏览到最后一个词，这是最差的方式。一般而言，我们要多次浏览论文，且每一次的目的都不相同。
　　首先第一遍应该只看标题、摘要和图表，摘要能告诉我们论文讲了什么，而对于深度学习研究工作，很多都能总结成一两张图表。第二遍应该继续看前言、结语和图表，其它的内容我们可以暂时不管。注意在看前言时，相关研究部分也可以不管，虽然该部分对于理解研究脉络很有帮助，但第二遍应该需要抓住主要思想。
　　第三遍阅读就要纵览论文主体了，但同时那些耗费时间的数学与推导部分可以暂时跳过，我们掌握整体脉络与框架就行。第四遍需要阅读所有的内容，但这时候肯定还会有一些部分不能理解，那么暂时跳过它们以后再攻坚。
　　相关阅读：
　　清华大学刘知远：如何写一篇合格的 NLP 论文
　　机器学习研究者的养成指南，吴恩达建议这么读论文
　　参考链接：
　　https://www.reddit.com/r/MachineLearning/comments/pgitms/d_here_is_what_i_learned_from_writing_50/
　　https://www.casualganpapers.com/how-to-learn-to-read-ai-papers-quickly/How-To-Read-AI-Papers-explained.html