机器学习理论入门统计学习之逻辑斯蒂回归与最大熵
在讲逻辑斯蒂回归之前先复习下感知机的一些知识:
感知机的公式:f(x) = sign(w·x + b) 输出+1或-1
那么问题来了,1.只输出-1和+1是不是太生硬了?这样的判别方式真的有效吗?
2.超平面左侧0.001距离的点和超平面右侧0.001距离的点真的有天壤之别吗?
同时感知机的缺陷不容忽视:感知机通过梯度下降更新参数,但在sign函数中,x=0是间断点,不可微
怎么解决极小距离带来的+1和-1的天壤之别?2.怎么让最终的预测式子连续可微呢?
逻辑斯蒂回归可以解决以上问题
逻辑斯蒂回归
逻辑斯蒂回归的定义
P(Y = 1|x) = 取值范围:(0~1)
P(Y = 0|x) = 取值范围:(0~1)
用图表表示为
若将P(Y=1|x)记作A,P(Y=0|x)记作B,则 A/A+B + B/A+B = 1
逻辑斯蒂回归是连续可微的
参数估计
逻辑斯蒂回归模型学习时,对于给定的训练数据集 T = {( , ),( , )...,( , )} , 其中, , {0,1},可以应用极大似然估计法估计模型参数,从而得到逻辑斯蒂回归模型。
设: P(Y = 1 | x) = (x),P(Y = 0|x) = 1 - (x)
似然函数为
对数似然函数为
上图的对数似然函数看似简单的三个步骤,其用到了很多知识,下面进行详细步骤说明,如些图
再次说明下,机器学习有关对数的小知识点:和熵有关的默认 ,简写成log;和商没有关系的默认 ,简写成log或ln
似然函数对w的求导
总结
1.逻辑斯蒂以输出概率的形式解决了极小距离带来的+1和-1的天壤之别。同时概率也可以作为模型输出的置信程度
2.逻辑斯蒂使得最终的模型函数连续可微。训练目标与预测目标达成了一致
3.逻辑斯蒂采用了极大似然估计来估计参数
最大熵
什么是最大熵?
在我们猜测概率时,不确定的部分我们认为是等可能的,就好像骰子一样,我们知道有6个面,因此认为每个面的概率是1/6,也就是等可能
换句话说,趋向于均匀分布,最大熵使用的就是这么一个朴素的道理:
凡是我们知道的,就把它考虑进去,凡是不知道的,通通均匀分布
终极目标是求概率 P(Y | X)
熵:H(P) = -
将终极目标代入熵:H(P) = -
做些改变,调整熵:
H(P) = H(y | x) = -
注:1.H(P) = H(y | x)为条件熵
2.~代表从训练集中统计出来的
下面看下训练集中的统计概率 :
(X=x) =
特征函数及特征函数f(x,y)关于经验分布 (x,y)的期望值
特征函数f(x,y)关于模型P(Y|X)与经验分布 (x)的期望值:
最大熵模型
拉格朗日乘子法:
总结
1.最大熵强调不提任何建设,以熵最大为目标
2.将终极目标代入熵的公式后,将其最大化
3.在训练集中寻找现有的约束,计算期望,将其作为约束。使用拉格朗日乘子法得到P(y|x),之后使用优化算法得到P(y|x)中的参数w
参考视频链接:https://www.bilibili.com/video/BV1i4411G7Xv?p=6&vd_source=7621d9b6568d814ad80158fea1c47dcc
#头条创作挑战赛#
你们家的京东云路由器,一天获取多少积分,家里宽带如何?估计很多朋友都不知道京东云路由器有什么作用,但是今天我告诉你,它可以用来赚钱,是实实在在的财富。在使用京东云路由器的时候会产生积分,积分可以兑换成为京豆,兑换比例为1积分兑换1个京
一个人可以用两个支付宝吗?可以的一个人可以同时有两个支付宝账户。目前同一身份证可认证的支付宝账户总数不能超过3个。如果您的身份信息已经被您其他的支付宝账户用于认证,则需要判断已认证的这个账户是否是自己的,如
联通套餐从78元到29元,流量40G40G升到105G经过一个多月的斗争,工信部申诉了两次,最终算是实现了改套餐,虽然不是当初想要改的套餐,但是改成的套餐比之前预计的好。之前用的腾讯王卡19元套餐,加上订购的59元白金会员,每月需要7
福州5G智慧城市项目加快建设力争6月通过验收数字亮点按下智慧灯杆上的一键报警按钮,扬声器里,社区工作人员的关心即刻到达扫一扫手机二维码,厨余垃圾投放挡板便自动打开,垃圾破袋送袋入桶等流程一气呵成5G网络与BIM技术,正飞入越
除暴联盟电影厂牌惊喜亮相,腾讯视频押注硬核动作赛道作者糖炒山楂2022年9月腾讯在线视频金鹅荣誉活动上,腾讯视频提出扫黑除暴题材是新机会的洞察,并表示将打造除暴联盟的内容厂牌。时隔5个月,除恶飞车党作为除暴联盟厂牌的首部作品在腾讯
AI群星闪耀时总是需要无数的光阴无谓地流逝,才能等到一个真正具有历史意义的时刻一个人类群星闪耀的时刻出现我把它们称为人类群星闪耀的时刻,因为在这个人类难以企及不朽的时间黑夜里,它们宛若星辰,刺破
蚂蚁集团前高管于隽涉嫌强奸公司称对不道德行为绝不姑息雷递网乐天3月28日近期,网友爆料蚂蚁集团前高管于隽涉嫌强奸一名女性,目前此事正式以强奸罪来立案,控告者正是受害者万某。受理单位是杭州市公安局的下属分局。据爆料者称,受害者万某和时
你喜欢女孩子搭配什么衣服?干净整洁不繁琐,既有着小女生的甜美气息,又不乏小性感的元素,这便是我个人最喜欢的搭配了。V领吊带裙作为一件可咸可甜的连衣裙,它一直是衣橱的常客,不管是单穿还是搭配打底衫它的变现都是
在石家庄生活,大家都是多少薪资?有没有负债?说说我吧,石家庄一所中专学校的老师,一个月工资不多,也就是4000多(除了5险),学校有教师宿舍,光吃饭也花不了多少钱,基本上一个月开销下来也不剩什么了,平时没事了在市里边转转,一
农村退休老人,每个月的养老金达到了3000元,这样够用吗?对于简朴的真正的农民已经够用了,甚至还可以有节余,因为农村菜蔬副食等相对便宜易购。但对于农闹就不够用了?因为小农经济意识在脑袋中扎了根,一提行业?必然胡编农民特殊,最最辛苦,贡献巨
接下来5年,在山东聊城哪个位置买房最好?先上图个人感觉,东南片区将迎来大发展,小区的话强烈推荐民生城市玖玺。原因如下1。政务中心!与东昌府区政府只隔一条马路2。重点学区房!小区北门离聊城第一实验学校(聊城市直学校,重要程