从运筹学、离散优化、概率图模型转行到业界深度学习、无人驾驶近大半年了 从最开始的语义分割（纯CNN） 到最近几个月的半自动像素级别标注（带实习生延续做博士课题） 再到即将要做的AutoML、MetaLearning（优化算法选择CNN框架、超参学习等） 也算对优化理论和深度学习的交叉有点浅见 覃含章和文雨之回答得已经挺全面了 这里权当抛砖引玉 1。深度学习底层的非凸优化算法 俩年前在运筹OR帷幄专栏开篇文章中，我提到 【学界】人工智能的引擎运筹学，一门建模、优化、决策的科学 深度学习里的损失函数，包含线性和ReLU等非线性函数，由于深，他们最终复合成一个极度非凸的函数。 例如h（x）f（g（x））就是一个f和g复合函数。 深度学习中的学习一词，本质上便是通过大量标注的数据样本学习和计算最优参数的优化问题。 深度学习最终归结为求解一个无约束的非凸优化问题 因此，优化理论的发展，对于深度学习的效率和精度尤为重要！ 下面这本FcebookAI、LehighUni、NorthwesternUniversity合著的电子书是不错的参考： https：leon。bottou。orgpublicationspdftroptml2016。pdf leon。bottou。org 深度学习的优化理论经过从SGD到Adagrad再到Adam，几经沉浮 但SGD（随机梯度下降算法，凸优化经典）却仍广泛使用 这方面的Paper太多，多发在NIPS、ICML等AI顶会上，就不一一列举了 下面这篇是不错的科普综述： http：lipiji。comdocsli2017optdl。pdf lipiji。com 如果对于优化理论不是非常了解，下面这个暑期学校的ppt会是不错的入门： https：project。inria。frpaissfiles201807mairallargescaleoptim。pdf project。inria。fr 2。AutoML、MetaLearning 深度学习一直以来被学术界认为是黑箱子 因为是一个超高维的非凸优化问题 加上（超）参数的数量非常多 例如：学习率、初始值、正则项、网络设置几层、模型怎么搭等等 求得全局最优解似乎是不可能的 因此深度学习的表现有非常大的不可预见性 深度学习从业者也经常被戏称为 调参侠、炼金术士、深度炼丹师等等 优化理论却可以帮助深度学习 学习更好地优化策略、甚至学习模型结构 从前几年的超参数学习、优化参数的学习 Chapter1：HyperparameterOptimization。ByMatthiasFeurerandFrankHutter Chapter2：MetaLearningByJoaquinVanschoren 到近年的深度学习模型结构的学习 Chapter3：NeuralArchitectureSearchByThomasElsken，JanHendrikMetzenandFrankHutter 如GoogleBrain最近的NasNet https：arxiv。orgpdf1707。07012。pdf 用AutoML学习得到的深度学习框架NasNet 在同等条件（模型参数和计算量）下 cnn模型所需的计算力（flops）和参数（parameters）数量是怎么计算的？ 战胜了所有研究者手工设计的神经网络模型！ 是非常有前景的学术研究方向 它们无不用到了 遗传元启发算法、搜索等优化算法 或强化学习、RNN等更高级的算法 【学界】整数规划精确算法近似算法（元）启发算法神经网络反向传播等算法的区别与关联 这里推荐一个学术网页 上面汇总了几乎所有AutoML相关的开源书籍和论文 AutoML www。ml4aad。org 3。半自动标注的优化算法 这也是我的博士课题之一 深度学习时代，对于高精度标注数据的需求日益剧增 公司最终的核心竞争力不在于CNN模型的优劣 而是Groundtruth图片的精度和数量 以下图我目前的主要工作语义分割举例 无人驾驶中的语义分割任务将每个像素都进行分类 深度学习的任务是将车载摄像头拍摄的图片中 每一个像素进行分类（车、行人、道路、路牌等等） 而深度学习模型要有好的表现 就需要千万张这样人工标注好的像素级别的图片进行训练 （戴姆勒公司是目前行业的翘楚，公开了数个标准训练集） 据传，人工标注上图这样一张图片 需要花大约1。5小时！！！ 这时候，就可以利用优化算法来加速标注的过程 我的博士研究成果 以上是我博士期间设计的半自动标注优化算法 标注者可以用涂鸦的方式与图片交互 整数规划算法会给出初步的分割 如果觉得不满意 可以再次涂鸦或者用画笔精修边界的像素 如果一张语义分割标注数据价值10元人民币 每个汽车集团无人驾驶汽车要上路保守估计需要1000万张高精度的训练图片 如果我的算法可以使得标注效率提高哪怕10 也可以帮助公司节省1000万元的标注成本！ 这方面的论文推荐俩篇（KaimingHe以及牛津PhilipH。S。Torr组的最新成果）： ScribbleSup：ScribbleSupervisedConvolutionalNetworksforSemanticSegmentation arxiv。org http：www。robots。ox。ac。uktvgpublications20180095。pdf www。robots。ox。ac。uk 此外，AutomaticAnnotation也是当前的研究热点。 4。小结 由于篇幅原因 这里只列出以上3个优化理论在深度学习的应用方向 其他方向例如运筹学、优化理论在大规模集群运算中的算力和计算资源的调度问题 以及无人驾驶等深度学习应用场景中，各个感知模块存在倚赖关系的调度问题等等 它们本质其实都是运筹学中经典的调度问题 只是应用场景从供应链交通航空转到了深度学习 运筹OR帷幄：【无人驾驶】软件架构基于AUTOSAR的多模块任务分配策略 以上 仅抛砖引玉 欢迎评论补充 也欢迎同行投稿至运筹OR帷幄
2016年高考作文指导议论文的写作技巧高考作文的文体选择方面，议论文是大多数考生的选择。实际上，议论文也确实更稳妥，不容易偏题离题。下面是小编整理的议论文的写作技巧，希望对大家有帮助！【议论文的写作技巧】……小学助人为乐作文500字锦集6篇在平时的学习、工作或生活中，大家都不可避免地要接触到作文吧，作文是人们把记忆中所存储的有关知识、经验和思想用书面形式表达出来的记叙方式。那么你有了解过作文吗？下面是小编收集整理……工信部组织推荐2022年国家技术创新示范企业【大河财立方消息】4月24日，工业和信息化部发布关于组织推荐2022年国家技术创新示范企业的通知。通知要求，申请认定国家技术创新示范企业应在制造业重点领域具有关键核心技术攻关及……曲轴上市公司慎拓产线商用减势乘用放量新能源汽车成布局焦点财联社4月22日讯（记者陆婷婷）近期，已有曲轴上市公司开始公布Q1业绩情况，结合2021年报业绩表现来看，因重卡国标切换、整车电动化转型等，汽车核心零部件曲轴行情出现分化。国内……我心中的桃花源作文我心中的桃花源作文我心中的桃花源是个美丽的地方，与世隔绝，有森林、高山、湖波、阳光和沙滩。那里物产丰饶，不必为食物担心。渺无人烟，除我之外再无他人。陪我的只有一个木屋，一……关于诚信的700字作文诚信无形诚信无形诚信无形，却可以经天纬地；诚信无色，却可以耀人眼目；诚信无味，却可以在上下五千年、纵横海内外散发出醇厚的芬芳。无形、无色、无味的诚信有着撼人心魄的力量。近年……2021年教师节关于老师的作文教师节，旨在肯定教师为教育事业所做的贡献。一起来看看关于老师的作文，仅供大家参考！谢谢！关于老师的作文1老师是我们学习路上的明灯，为我们指引方向；老师是一位向导，带我们走……仙人掌品学网专稿未经允许不得转载最近，我爸爸带来了一盆别人送的仙人掌。我看了看这个仙人掌，它外层有一层锋利的针刺，防止别的动物去伤害它，就像是一个僵硬的贝壳。而里面却是绿色的。……长城导游词500字作文3篇长城越群山，经绝壁，穿草原，跨沙漠，起伏在崇山峻岭之巅，跨过黄河彼岸和渤海之滨下面是小编带来的长城导游词作文500字，希望对大家有帮助。篇一：长城导游词作文500字尊敬的……春天真美为题的350作文春天来了，金黄色的蒲公英在路边耀目，深紫的荞璐璐花在桃树下送情，蜜蜂在粉红色的杏花间歌唱，蝴蝶在淡蓝的天空中翩翩起舞，金翅鸟在刚放绿叶的柳树上细语，嫩黄的榆钱在春风中颤动，山鸡……运动会开幕式作文450字令全体同学都期待不已的学校运动会如期举行，但最最让人期盼的还是那隆重且盛大的运动会开幕仪式。运动会开幕的这一天，天高、云淡、风轻，是一个不错又难得的好天气，大家的好心情也……新鲜早科技丨华为全面进军商用领域曹操出行用户数破亿软银机器人21世纪经济报道数字经济课题组综合报道早上好，新的一天又开始了。在过去的24小时内，科技行业发生了哪些有意思的事情？来跟21tech一起看看吧。【巨头风向标】……