写在前面 他在深度学习爆炸的年代，冷静判断趋势，敢于投身主流研究领域之外的新兴方向AutoML。他是业界最早提出可实用网络模型结构搜索算法的研究者之一，创建了国内第一代AutoML算法，并在TPAMI、 CVPR、 NIPS、 ICLR、ICCV等顶级期刊会议发表了多篇论文。他执着地想做能work的research。 入职不到1年，他就带领团队把AutoML技术应用到数千万台华为手机上，做到了在业界第一次将AutoML大规模商用的突破。第二年，他又带领团队研发端到端像素级AutoML流水线，成功将视频摄影原型算法的复杂度降低百倍，再次突破业界与学术界的极限。 加缪说，登上顶峰的斗争足以充实一个人的心灵。在算法领域向顶峰攀登的这些年，他有了一些自己的成绩与想法心得。 以下是钟钊的讲述—— 种下一颗种子，繁衍成一片森林 ——立志做能work的research，撼动业界的技术革新 钟钊/讲述 黄颖玲/文 春天，万物复苏，草长莺飞。在田间地头，在车水马龙的城市里，蜿蜒的溪流，巍峨的大山，到处充满了春天生机盎然的气息。春天，是播种希望的季节。 博士毕业照 在春天，种下一颗种子 那年还在读本科的我，在实验室里做科研助理，第一次接触到人工智能算法，就对这个领域很感兴趣。大概那时候，我开始在心底埋下了一颗小小的种子。读博期间，经过一段时间的学习和科研实践以后，我发现做深度学习或者智能算法的过程中，多数工作是在一个现有的大框架下小修小改，而且看似精妙的人工智能算法，本质上还是统计学、数据科学等传统科学的结合和再创造，并不像电影里呈现出来的人工智能会战胜人类那样的＂聪明＂。 当时还有人调侃：有多少AI工程师就有多少智能，搞AI的都是调参侠。我懵懂的感觉局限在完全靠人来做AI算法这条路可能再走10年就走不通了。那时候刚好是AutoML（Automated Machine Learning）的＂文艺复兴＂，特别是工业界认为，我们不能一直仅依靠人类专家的先验知识做人工智能，或许通过自动化算法和强大的算力，我们能发现人类专家都无法想到的优秀算法和模型。这个在当时与主流研究领域不那么一致的新兴方向AutoML——用算法来设计算法，深深地吸引了我。 助教白博（左）钟钊（中）导师李瑞华（右） 汲取养分，种子扎根生长了 2018年，我受邀去美国参加CVPR（IEEE Conference on Computer Vision and Pattern Recognition，即IEEE国际计算机视觉与模式识别会议）做千人主会场的ORAL（口头的）会议报告。遇到华为的与会人，他们提到华为也正在布局AutoML这个技术（2018年，AutoML技术逐渐进入试商用加速阶段，工业界各大厂商纷纷开始布局），希望我能加入一起合作。回国以后，华为的工作人员邀请我到北京研究所做交流，这就见到了现在的部门主管，还记得他给我描绘道：华为是有能力自己造AI芯片的，芯片都是 ＂沙子＂做的，华为做AI的成本可以很低，你可以有无穷的算力和各式各样的落地场景……这是当时最触动我的，并让我最终决定加入华为的原因。因为如果有足够强的算力与平台支持，以及众多真实的业务场景来实践验证，我们从研究到应用再到创造价值就会更加畅顺。 加入华为后，我专注在多媒体业务相关的研究创新，概括地说，就是用智能技术构建媒体内容从生成、编码、传输、处理、识别与分析、呈现等一系列过程中的核心竞争力，图像、视频、音频、AR（Augmented Reality，增强现实）、VR（Virtual Reality，虚拟现实）等都是我现在的部门所涵盖的范畴。我现在研究的智能技术主体是AutoML，就是自动化机器学习，还包括新型算子和动态网络等。简单来讲，AutoML就是用人工智能的方式来写AI算法，用AI来设计AI。 目前业界大多数情况依然是算法工程师自己来开发繁重复杂的AI算法，对人的要求很高，我希望能通过AutoML这种人工智能的方式来协助算法工程师更好更高效地完成算法，解放生产力，并且能比人类专家设计的还要好。随着AutoML自动化程度越来越高，它就能在计算机上源源不断地开发出更好的算法。我做研究的目标很简单，就是要在真实的业务里——做能work的research（有用的研究），这也是我的长期愿景。 向下扎到根，沐风栉雨，终将破土而出 入职后不久，我们团队就接到一个巨大的挑战。手机拍照的竞争力一直是手机产品线关注的重点。由于手机上的光源器件很小，但是又需要它达到单反相机的效果，所以我们部门一直在努力研究如何用算法来弥补光学的不足，实现手机拍照超越单反拍照的效果。 2019年，M手机决定要上线我们部门的一个重要的拍照算法，但是当时M手机的拍照算法包含了一个很大的AI模型，虽然拍照效果很好，但功耗、出图速度一直不能达到产品交付标准，这严重影响了整个产品的交付进度。 当时我的导师，也是部门最顶级的专家提出让我们AutoML团队来解决这个难题，通过AutoML技术在保证拍照出图效果的前提下，把算法简化下来，满足产品功耗、速度等指标的要求。这是一个看似不可能完成的任务！关于功耗速度问题，之前已有好多算法专家努力了很久，都没有完全解决，我们可以吗？还有AutoML这个技术虽然在学术界很火，但是还从来没有在业界大规模商用过，我们可以吗？我们团队刚组建，大家都是新兵蛋子没经验，我们可以吗？但是俗话说，箭在弦上，不得不发。在这么关键的时刻，这么重要的项目，部门能果断让我们上，是给我们机会，我们不能辜负信任，必须顶住压力迎难而上。 也许只有真正向下扎到根，这颗种子才能经受住风雨洗礼，破土而出。这个任务是一个针对图像的像素进行处理的任务，对算法的精度要求非常高，与我们之前所做的图像分类、识别等任务完全不同。当时不仅学术界没有任何公开的将AutoML应用在像素级任务上的研究，更不用说是直接商用AutoML的样例了。我们当时是跨过了学术研究，将基础研究和商用落地同时进行，通过商用实战使用AutoML这个最新技术，可以说是在一边打仗一边造武器。 作为AutoML研究组的leader，我必须带领好大家完成这个挑战目标。首先，我自己必须坚定必胜的信心。我大体判断，现在情形下，我们面临的硬件上的约束是非常苛刻的，在这种条件下，短时间内，人其实是很难做出判断和突破的。但是用自动化算法，即使是用最傻的方式把它＂暴力＂搜索一遍，机器也有一定概率可以发现比人工设计更好的方案。另一方面，此时正是＂天时地利人和＂，＂天时＂是因为虽然AutoML是一个很新的热门技术，但部门对这个技术高度重视，投入了大量资源；前期我们也和兄弟部门——媒体工程技术实验室的同事们验证了方向的可行性，为后续的研究打好了基础；＂地利＂是指在过去的一年，我在华为实习期间已经积累了一定的AutoML算法研究，并构建了基础计算平台雏形，这颗＂种子＂正待春暖花开时破土而出。＂人和＂就是我们团队的小伙伴虽然都很年轻，但是都非常努力，而且专业能力也很强、很团结。通过以上种种，我非常有信心能干成这件事！所以此时不上，更待何时？事实上，后来经过将近一个月的实践，我们就从一些数值指标中看到了实实在在的成果和进步，大家的信心也越来越强了。这是一个循序渐进、良性循环的过程。 通过两个月的拼搏，我们的攻关取得了显著成效，一个近乎不可能的目标竟然这么快就实现了！这个挑战，是我们团队接到的第一个攻关项目，我忘不了那段攻关的日子，大伙每天晚上都集中在一起复盘反思，虽然困难重重，但大家不停地在互相打气，相信一定能成，最终它也就真的成了！2019年到2021年，我们的拍照算法在M、P系列多款手机中不断取得突破，可以说我们的AutoML这套系统或者说算法都发挥了不可替代的作用。 我们团队也真正做到了在业界第一次将AutoML大规模商用，把这个技术应用到数千万台华为手机上，极大地提升了用户体验。 团队攻关成功后举杯相庆 枝繁叶茂，生生不息 我相信社会在发展，人类在进步，技术的极限也可以不断被突破。AutoML的研究和应用任重道远，我和团队的小伙伴们也在不断接受新的挑战。很快我们又接到了新的攻关任务——将视频摄影算法的复杂度降低100倍，让Demo的视频效果能真正在手机上实时地跑出来。 如果说之前M系列手机的问题是一个＂看似不可能＂完成的任务，那么将Video做100倍的简化，简直就是＂完全不可能＂实现的挑战！我接到这个任务的第一个反应就是：这实在是太难了，领导只会下任务，不考虑实际情况嘛。100倍，这不可能！业界学术界一般的压缩加速类算法只能做到2-3倍。如今既没有理论基础的保证，也没有前人探索的积累，我们只能自己摸着石头过河！ 虽然当前看不到完成这个挑战的可能，可是如果我们真的实现了这个提升目标，就可以让用户体验到更惊艳的视频效果，我们的产品能更上一层楼。团队成员这时也是士气高涨，一鼓作气签下了军令状，坚定地表明了我们的决心！小伙伴们果断开干！我们整个团队拧成一股绳，暂缓了其他探索性研究，都扑在了这个攻关任务上，但是进行了一段时间后，我们也依然没看到一点起色。 ＂我们放弃吧，实在做不动了！＂有的小伙伴已经有点灰心了。有小伙伴建议，先停一停，空出三个月时间，大家从理论、基础研究、算法上再好好想一想新的思路，也许过了一段时间，我们能打开一些新的视角。当陷入困境一时找不到方向时，曲线救国也未必不是一个好的选择。 三个月后，当小伙伴们带着自己新的idea、demo回来，再次碰撞时，果然有了新的视角和突破。很快，我们构建了一整套全新的AutoML pipeline（pipeline：流水线），从数据生成开始到模型设计、训练调参、压缩量化，整个流程都由AutoML来驱动，端到端的每一模块都进行了优化，终于得到了极致性能和效果的模型。通过这一整套技术的处理，自动化设计出的模型比之前人设计的基础模型小了100倍，但仍能达到不错的成像效果！这个技术已经部分地应用在了最新的手机里，并且会全量落到未来的终端旗舰产品中。 目前AutoML技术已成为部门的核心公共能力，也支持了视频、ARVR、河图等众多媒体的关键业务。同时我们也注重AutoML算法和框架在公司内部开源，目前已经与 Cloud-EI 等部门合作共建，形成了公有云服务AutoSearch，帮助公司多个业务部门的算法工程师提升算法效力。现在AutoSearch已经成为云上的第三大常用AI引擎，占云上总训练任务的10%以上。 特别值得一提的是，前两年，我们即使在业务非常繁忙的时候，仍然保持对动态网络和新算子的基础研究工作，这些研究成果部分发表后，也得到了学术界的认可。在基础研究探索和解决实际问题工程实战这两个看似间隔很大的方向上，我们做到了＂反复横跳＂，这是我们实现能work的Research的必经之路。我不希望我们的探索和创新束之高阁，我希望亲手将研究落地到产品中，真正给人类带来价值。 在大自然残酷的优胜劣汰的生存法则下，要让一颗种子长成参天大树，生生不息繁衍成一片森林，必将还要经受住更猛烈的暴风雨洗礼。实现AutoML的初步商用落地，这只是我们终极目标中的一个阶段性目标，未来十年，随着技术的迭代成熟，算力的进一步增长，我们希望AutoML能真正实现自动化，解放生产力，更长远来看，我们希望AutoML能够真正脱离专家干预，超越人类设计。这就是我想要做的能work的research！ 团队合影 对谈 问：您是从什么时候开始对这方面的研究产生兴趣的呢？ 答：我接触电脑的时间非常早，大概97、98年左右，也就是在幼儿园、小学阶段的时候，我就开始接触电脑的游戏和基础编程。 问：这么小就开始打游戏，对你有什么影响吗？家里是怎么看待这件事情的呢？ 答：小时候玩游戏总会想着它背后是怎么做出来的，为什么我按键一下角色会跟着动？怎么用编程语言实现简单的功能？带着这些想法其实就不会一味沉迷在游戏里，所以也不影响后来的学习发展。我的父亲对我的影响非常大，父亲从小对我的教育也是非常开放和宽容的，他对我打游戏的观念不是强制的阻止，而是控制时间并带我了解游戏软件背后的代码和原理，我一直在父亲的潜移默化中，慢慢清楚自己的兴趣和特长。 问：可以说说父亲是怎么潜移默化影响自己成长的吗？ 答：我的父亲是大学的老师，他应该是中国第一批接触电脑的人。我父亲是很早一批的北大学生，之前在中科院的高能物理所（原子能研究所）做研究，是钱三强何泽慧夫妇的学生，他最早是搞核物理研究，就是做两弹一星，主要是氢弹的研究。他们需要用计算机来进行核物理相关的计算，后来又转到计算机领域的研究了。父亲平时工作中有些东西是我可以接触到的，我还记去机房和办公室找他，得穿鞋套来避免静电。等我父亲下班的过程我拿空闲的电脑玩小乌龟画画（LOGO语言），在DOS系统里寻找大学生上课时偷偷安装的新游戏。所以我的兴趣就是在父亲的潜移默化中培养起来了。 问：你是从什么时候开始想走科研这条道路的？ 答：我从小学开始就有学编程，但是我一直没有想过要走科研这条路。决定做科研，应该是大学以后。大一的时候我很想创业，想要去做一些移动互联网很火的事情，像开发APP，希望能做成几个项目，所以整个大一的时间几乎都放在创业上。当时虽然做一个失败一个，但社会环境和校园氛围是非常鼓励大家尝试创业的，互联网造富的神话也一个接着一个，同学们都想成为＂扎克伯格＂。后来家里发生变故，我觉得不能继续这样下去了，我想要做一些能更长久、能留下去的事情，像research这类的硬科技，所以再后来就决定试一试科研这条路。我也走过一些弯路，但是现在我非常清楚自己想要做什么，不做什么，想要做的，我就会坚定地做下去。 问：你觉得成功的关键是什么？ 答：成功的关键就是要对准目标方向找到真实的问题。我们从一开始目标就很明确，就是要做有用的research，而不是为了创新而创新，我们不希望基础研究完全脱离现实。 AutoML前两年在学术界特别火，但是我们发现大家做了很多无用功。学术界的工作有时候看起来很好，但是没法应用，可能是因为最开始大家对准的那个问题，只是自己幻想出来的并不真实存在的，所以更谈不上应用了。甚至说，很多人都无法发现问题和目标在哪里，只能在前人已有的工作上做一些incremental（增量）的工作，刷高了零点几个点数值。我个人认为找到真实的问题和目标，才能做出创新有用的工作。我们在团队建设初期就统一了理念：做能work的research！有了明确的目标和摸清真实的问题，团队小伙伴就能形成合力，大家一起并肩朝着共同的方向努力去探索，最终就能取得成功。 本文来自《华为人》 钟钊/讲述 黄颖玲/文 转载请注明作者及出处
