梯度提升算法是最常用的集成机器学习技术之一，该模型使用弱决策树序列来构建强学习器。这也是XGBoost和LightGBM模型的理论基础，所以在这篇文章中，我们将从头开始构建一个梯度增强模型并将其可视化。梯度提升算法介绍 梯度提升算法（GradientBoosting）是一种集成学习算法，它通过构建多个弱分类器，然后将它们组合成一个强分类器来提高模型的预测准确率。 梯度提升算法的原理可以分为以下几个步骤：初始化模型：一般来说，我们可以使用一个简单的模型（比如说决策树）作为初始的分类器。计算损失函数的负梯度：计算出每个样本点在当前模型下的损失函数的负梯度。这相当于是让新的分类器去拟合当前模型下的误差。训练新的分类器：用这些负梯度作为目标变量，训练一个新的弱分类器。这个弱分类器可以是任意的分类器，比如说决策树、线性模型等。更新模型：将新的分类器加入到原来的模型中，可以用加权平均或者其他方法将它们组合起来。重复迭代：重复上述步骤，直到达到预设的迭代次数或者达到预设的准确率。 由于梯度提升算法是一种串行算法，所以它的训练速度可能会比较慢，我们以一个实际的例子来介绍： 假设我们有一个特征集Xi和值Yi，要计算y的最佳估计 我们从y的平均值开始 每一步我们都想让Fm（x）更接近yx。 在每一步中，我们都想要一个更好的y给定x的近似。 首先，我们定义一个损失函数 然后，我们向损失函数相对于学习者下降最快的方向前进： 因为我们不能为每个x计算y，所以不知道这个梯度的确切值，但是对于训练数据中的每一个，梯度完全等于步骤m的残差：！ 所以我们可以用弱回归树来近似梯度函数，对残差进行训练： 然后，我们更新学习器 这就是梯度提升，我们不是使用损失函数相对于当前学习器的真实梯度gm来更新当前学习器F｛m｝，而是使用弱回归树来更新它。 也就是重复下面的步骤 1、计算残差： 2、将回归树拟合到训练样本及其残差（xi，ri）上 3、用步长更新模型 看着很复杂对吧，下面我们可视化一下这个过程就会变得非常清晰了决策过程可视化 这里我们使用sklearn的moons数据集，因为这是一个经典的非线性分类数据 importnumpyasnp importsklearn。datasetsasds importpandasaspd importmatplotlib。pyplotasplt importmatplotlibasmpl fromsklearnimporttree fromitertoolsimportproduct，islice importseabornassnsmoonDSds。makemoons（200，noise0。15，randomstate16） moonmoonDS〔0〕 color1（moonDS〔1〕21） dfpd。DataFrame（moon，columns〔x，y〕） df〔z〕color df〔f0〕df。y。mean（） df〔r0〕df〔z〕df〔f0〕 df。head（10） 让我们可视化数据： 下图可以看到，该数据集是可以明显的区分出分类的边界的，但是因为他是非线性的，所以使用线性算法进行分类时会遇到很大的困难。 那么我们先编写一个简单的梯度增强模型：defmakeiteration（i：int）：Takesthedataframeithfiandriandapproximatedrifromthefeatures，thencomputesfi1andri1clftree。DecisionTreeRegressor（maxdepth1）clf。fit（Xdf〔〔x，y〕〕。values，ydf〔fr｛i1｝〕）df〔fr｛i1｝hat〕clf。predict（df〔〔x，y〕〕。values）eta0。9df〔ff｛i｝〕df〔ff｛i1｝〕etadf〔fr｛i1｝hat〕df〔fr｛i｝〕df〔z〕df〔ff｛i｝〕rmse（df〔fr｛i｝〕2）。sum（）clfs。append（clf）rmses。append（rmse） 上面代码执行3个简单步骤： 将决策树与残差进行拟合：clf。fit（Xdf〔〔x，y〕〕。values，ydf〔fr｛i1｝〕）df〔fr｛i1｝hat〕clf。predict（df〔〔x，y〕〕。values） 然后，我们将这个近似的梯度与之前的学习器相加：df〔ff｛i｝〕df〔ff｛i1｝〕etadf〔fr｛i1｝hat〕 最后重新计算残差：df〔fr｛i｝〕df〔z〕df〔ff｛i｝〕 步骤就是这样简单，下面我们来一步一步执行这个过程。 第1次决策 TreeSplitfor0andlevel1。563690960407257 第2次决策 TreeSplitfor1andlevel0。5143677890300751 第3次决策 TreeSplitfor0andlevel0。6523728966712952 第4次决策 TreeSplitfor0andlevel0。3370491564273834 第5次决策 TreeSplitfor0andlevel0。3370491564273834 第6次决策 TreeSplitfor1andlevel0。022058885544538498 第7次决策 TreeSplitfor0andlevel0。3030575215816498 第8次决策 TreeSplitfor0andlevel0。6119407713413239 第9次决策 可以看到通过9次的计算，基本上已经把上面的分类进行了区分 我们这里的学习器都是非常简单的决策树，只沿着一个特征分裂！但整体模型在每次决策后边的越来越复杂，并且整体误差逐渐减小。 plt。plot（rmses） 这也就是上图中我们看到的能够正确区分出了大部分的分类 作者：TanguyRenaudie
2020年，河南小伙因保护自家烧鸡却被判刑10个月，欲申诉讨回清白文古叔编辑古叔2020年7月34日，烤卤店店员因半年前，与抢劫自家烧鸡之人，发生冲突打架一事，突然被判有期徒刑十个月。狱中服刑的他，觉得冤枉极了，心想难不成别人以后，来店里的抢烧鸡一家6口人5人已是美国籍，留下一人继续捞金？网友不欢迎虽然中国的经济水平不断提高，我们的生活质量越来越高，房子车子等基本实现了应用，但是依然有一些人选择移民。根据统计数据显示，中国的移民者数量已经超过了1。8万，这在一定程度上造成了资台媒爆民进党今将征召林智坚转战桃园绿营内讧批密室协商新竹市长林智坚。（图片取自台媒）中国台湾网6月18日讯据台湾联合报报道，蔡英文今天（18日）将召开民进党选对会，预计征召新竹市长林智坚出战桃园新竹市副市长沈慧虹接棒新竹市民代蔡适应震憾日本！53岁男公务员组织120人狂欢派对，警察凌晨突击被辣眼最近，日本在同一天爆发的两条新闻看得人们心情极度复杂。一边是120人参与规模庞大的多人狂欢派对，四五十岁的中年人们在租来的别墅里颠鸾倒凤不知天地为何物。日本网友光是看到这个新闻标题张善政自爆2优势称新竹市长林智坚很难比得上中国国民党桃园市长参选人张善政。（图片来源台湾中时新闻网）中国台湾网6月18日讯据台湾中时新闻网报道，民进党有望被征召参选桃园市长的新竹市长林智坚，17日首度松口称球来了，我就接。台官员放话试图以芯拒统，濒临分裂之时，谁还管你这点破事近日，台行政机构所谓政务委员邓振中对媒体表示，如果大陆对台湾地区展开军事行动，将造成世界半导体芯片短缺，对全球贸易的冲击远超俄乌冲突，届时一定会出现全球供应短缺。他还声称，台当局应宋翔郭昊文已经完成了独行侠试训直播吧6月18日讯据CBA名记宋翔报道，消息源透露，上海队球员郭昊文已经完成独行侠试训。距离选秀大会不到一周时间，郭昊文是否还将参加其他球队试训，目前未有明确消息。此前郭昊文已经参RNG赔偿MLXG三百万！Faker开始寄律师函1。RNG赔偿Mlxg三百万2021年11月份，RNG拖欠Mlxg工资，被Mlxg告上法院。时隔半年多，香锅为了这事跟RNG已经开了好几次庭，都没将问题彻底解决。6月16日，香锅跟C罗全家乘私人游艇！12岁迷你罗发育好，后妈穿比基尼玩水不避讳国际巨星C罗在忙碌了一整个赛季后，终于迎来了久违的假期，他迫不及待带着全家出门游玩，去到了西班牙一座风景秀丽的海岛马洛卡岛上度假，C罗目前身家超过10亿美金，家中数十辆豪车，还坐拥福建舰下水！实现完全自主建造之前，我们曾买了几艘航母？图为下水命名仪式现场，摄新华社记者李刚本文约6000字阅读需要17min6月17日上午，我国第三艘航空母舰下水命名仪式举行。经中央军委批准，我国第三艘航空母舰命名为中国人民解放军海003航母福建舰下水，日本护卫舰砍头改造，摇身一变要成航母003航母在6月17日正式命名为福建舰，这是中国独立自主开发的第一艘航空母舰，比起之前的山东号有脱胎换骨的变化，最为明显的是采用了平直飞行甲板，同时还配备了三条电磁弹射器，从而为0