从运筹学、离散优化、概率图模型转行到业界深度学习、无人驾驶近大半年了 从最开始的语义分割（纯CNN） 到最近几个月的半自动像素级别标注（带实习生延续做博士课题） 再到即将要做的AutoML、Meta Learning（优化算法选择CNN框架、超参学习等） 也算对优化理论和深度学习的交叉有点浅见 @覃含章 和 @文雨之 回答得已经挺全面了 这里权当抛砖引玉 1. 深度学习底层的非凸优化算法 俩年前在 @运筹OR帷幄 专栏开篇文章中，我提到 【学界】人工智能的＂引擎＂--运筹学，一门建模、优化、决策的科学 深度学习里的损失函数，包含线性和ReLU等非线性函数，由于＂深＂，他们最终复合成一个极度非凸的函数。 例如h(x)=f(g(x))就是一个f和g复合函数。 深度学习中的＂学习＂一词，本质上便是通过大量标注的数据样本学习和计算最优参数的优化问题。 深度学习最终归结为求解一个无约束的非凸优化问题 因此，优化理论的发展，对于深度学习的效率和精度尤为重要！ 下面这本Fcebook AI、Lehigh Uni、Northwestern University合著的电子书是不错的参考： https://leon.bottou.org/publications/pdf/tr-optml-2016.pdf leon.bottou.org 深度学习的优化理论经过从SGD到Adagrad再到Adam，几经沉浮 但SGD(随机梯度下降算法，凸优化经典)却仍广泛使用 这方面的Paper太多，多发在NIPS、ICML等AI顶会上，就不一一列举了 下面这篇是不错的科普综述： http://lipiji.com/docs/li2017optdl.pdf lipiji.com 如果对于优化理论不是非常了解，下面这个暑期学校的ppt会是不错的入门： https://project.inria.fr/paiss/files/2018/07/mairal-large-scale-optim.pdf project.inria.fr 2. AutoML、Meta Learning 深度学习一直以来被学术界认为是＂黑箱子＂ 因为是一个超高维的非凸优化问题 加上（超）参数的数量非常多 例如：学习率、初始值、正则项、网络设置几层、模型怎么搭等等 求得全局最优解似乎是不可能的 因此深度学习的表现有非常大的＂不可预见性＂ 深度学习从业者也经常被戏称为 调参侠、炼金术士、深度炼丹师等等 优化理论却可以帮助深度学习 学习更好地优化策略、甚至学习模型结构 从前几年的超参数学习、优化参数的学习 Chapter 1: Hyperparameter Optimization. By Matthias Feurer and Frank Hutter Chapter 2: Meta Learning By Joaquin Vanschoren 到近年的深度学习模型结构的学习 Chapter 3: Neural Architecture Search By Thomas Elsken, Jan-Hendrik Metzen and Frank Hutter 如Google Brain最近的NasNet https://arxiv.org/pdf/1707.07012.pdf 用AutoML学习得到的深度学习框架NasNet 在同等条件（模型参数和计算量）下 cnn模型所需的计算力（flops）和参数(parameters)数量是怎么计算的？ 战胜了所有研究者＂手工＂设计的神经网络模型！ 是非常有前景的学术研究方向 它们无不用到了 遗传/元启发算法、搜索等优化算法 或强化学习、RNN等更＂高级＂的算法 【学界】整数规划精确算法/近似算法/(元)启发算法/神经网络反向传播等算法的区别与关联 这里推荐一个学术网页 上面汇总了几乎所有AutoML相关的开源书籍和论文 AutoML www.ml4aad.org 3. 半自动标注的优化算法 这也是我的博士课题之一 深度学习时代，对于高精度标注数据的需求日益剧增 公司最终的核心竞争力不在于CNN模型的优劣 而是Ground-truth图片的精度和数量 以下图我目前的主要工作语义分割举例 无人驾驶中的语义分割任务--将每个像素都进行分类 深度学习的任务是将车载摄像头拍摄的图片中 每一个像素进行分类（车、行人、道路、路牌等等） 而深度学习模型要有好的表现 就需要千万张这样人工标注好的像素级别的图片进行训练 （戴姆勒公司是目前行业的翘楚，公开了数个标准训练集） 据传，人工标注上图这样一张图片 需要花大约1.5小时！！！ 这时候，就可以利用优化算法来加速标注的过程 我的博士研究成果 以上是我博士期间设计的半自动标注优化算法 标注者可以用涂鸦的方式与图片交互 整数规划算法会给出＂初步＂的分割 如果觉得不满意 可以再次涂鸦或者用画笔＂精修＂边界的像素 如果一张语义分割标注数据价值10元人民币 每个汽车集团无人驾驶汽车要上路保守估计需要1000万张高精度的训练图片 如果我的算法可以使得标注效率提高哪怕10% 也可以帮助公司节省1000万元的标注成本！ 这方面的论文推荐俩篇（Kaiming He以及牛津Philip H.S. Torr组的最新成果）： ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation arxiv.org http://www.robots.ox.ac.uk/~tvg/publications/2018/0095.pdf www.robots.ox.ac.uk 此外，Automatic Annotation也是当前的研究热点。 4. 小结 由于篇幅原因 这里只列出以上3个优化理论在深度学习的应用方向 其他方向例如运筹学、优化理论在大规模集群运算中的算力和计算资源的调度问题 以及无人驾驶等深度学习应用场景中，各个感知模块存在倚赖关系的调度问题等等 它们本质其实都是运筹学中经典的调度问题 只是应用场景从供应链/交通/航空转到了深度学习 运筹OR帷幄：【无人驾驶】软件架构--基于AUTOSAR的多模块任务分配策略 以上 仅抛砖引玉 欢迎评论补充 也欢迎同行投稿至@运筹OR帷幄
三星S23感人配置曝光，三星S21让路新机一夜跌至感人价三星手机非常独特。从近期的手机销量可以看出，虽然国内销量不佳，但三星手机销量在全球手机市场依然处于领先地位。可见三星的实力极其强大，还是很受欢迎的。毕竟是全球手机厂商，三星也不容小4000元档这两款手机打得火热，天玑9000和骁龙8Gen1你选谁？最近朋友想买一款4000元价位的手机，问有没有推荐。实际上，目前除了苹果之外，国内的主流手机品牌也就那么几个，小米荣耀vivoOPPO华为，以及三星吧，所以相对来说还是好选择的。而秒变5G手机！华为P50Pro5G通信壳正式发布支持双模5GIT之家5月17日消息，今日，支持双模5G的5G通信壳正式官宣发布。这款产品通过手机壳内嵌eSIM芯片与5Gmodem，实现手机网络4G升级为5G。IT之家了解到，这款产品的重量与贝壳夹跑中介人撰文何芙蓉编辑吴先之如果不是特别着急的情况，我现在基本不会在贝壳自如这类平台租房。姜丹是一位在北京工作的95后，老家在河南。毕业将近五年，开始工作并不稳定，前前后后也因此换了三次房露娜币从119。5美元跌到不足1美分，韩媒不少韩投资者难以接受要自杀来源环球时报环球时报驻韩国特约记者张静受美联储加息影响，全球加密货币市场出现黑暗时刻。据韩国每日经济15日报道，被称为币圈茅台的韩国人创办的露娜币（LUNA），上周市值下跌99。9四川探明页岩气超40万亿立方米，这一发现会给当地带来哪些变化？页岩气开采需要进行水力压裂，而四川盆地受到西侧青藏高原不断挤压，是一个典型的高应力区。08年汶川巨震后，整个四川盆地西部山区和盆地内的西侧都处于地震较活跃的状态。在这样的地质背景下张衡一号卫星之用途我国自主研发并通过系列长征火箭已将5百颗各种用途卫星送到，并在轨运行。其中张衡一号卫星近日发入太空五百公里（1。5米立方，设计使用寿命15年），携带三大仪器可分别探测收集传输地面超希瓦资产调研瑞可达京山轻机根据5月13日披露的机构调研信息，知名私募希瓦资产对2家上市公司进行了调研，相关名单如下1）瑞可达（证券之星综合评级2。5星市盈率52。29）个股亮点深耕通信与新能源的优质连接器供这些年我买了不少洗衣机，总结出4个最有用，和4个最没用的功能回忆一下，我这些年着实买了不少洗衣机（主要是搬家太频繁）。每次买洗衣机，都要做一番功课次数多了，就有了一套自己的选购方案。真等到买洗衣机的时候，会发现很多选购攻略都是无效的那么多产超薄本的好搭档，米物五合一多功能扩展坞，高效办公快人一步现在的笔记本做得越来越轻薄了，确实是挺好看，也方便外出携带。不过轻薄化的笔记本，总是在减少接口上妥协，在日常的使用中，就会遇到接口不够用的问题，手中的数码产品逐渐增多，笔电接口问题OPPO小布助手新春功能上线，带你体验布一样的年味随着2022年春节逐渐临近，关于年味变淡的讨论再次发酵，与此同时，仍未消散的疫情更是让本不浓烈的年味雪上加霜。对于如此重要的中国传统佳节，如何找回年味成为了所有人当下最关心的事。在