roc什么意思(ROC值什么意思)
1. 业务逻辑
数据分析遵循一定的流程,不仅可以保证数据分析每一个阶段的工作内容有章可循,而且还可以让分析最终的结果更加准确,更加有说服力。
一般情况下,数据分析分为以下几个步骤:
业务理解,确定目标、明确分析需求
数据理解,收集原始数据、描述数据、探索数据、检验数据质量
数据准备,选择数据、清洗数据、构造数据、整合数据、格式化数据
建立模型,选择建模技术、参数调优、生成测试计划、构建模型
评估模型,对模型进行较为全面的评价,评价结果、重审过程
成果部署,分析结果应用
2. 特征工程
包括特征提取、特征构建、特征选择。特征工程的目的是筛选出更好的特征,获取更好的训练数据。因为好的特征具有更强的灵活性,可以用简单的模型做训练,更可以得到好的结果。
3. 数据采集 / 清洗 / 采样
1. 数据采集
数据采集前需要明确采集哪些数据,一般的思路为:哪些数据对最后的结果预测有帮助?数据我们能够采集到吗?线上实时计算的时候获取是否快捷?
举例1:我现在要预测用户对商品的下单情况,或者我要给用户做商品推荐,那我需要采集什么信息呢?
店家:店铺的评分、店铺类别……
商品:商品评分、购买人数、颜色、材质、领子形状……
用户:历史信息(购买商品的最低价最高价)、消费能力、商品停留时间……
2. 数据清洗
数据清洗也是很重要的一步,机器学习算法大多数时候就是一个加工机器,至于最后的产品如何,取决于原材料的好坏。数据清洗就是要去除脏数据,比如某些商品的刷单数据。
那么如何判定脏数据呢?
简单属性判定:一个人身高3米 的人;一个人一个月买了10w的发卡。
组合或统计属性判定:你要判定一个人是否会买篮球鞋,样本中女性用户85%?
补齐可对应的缺省值:不可信的样本丢掉,缺省值极多的字段考虑不用。
数据清洗标准:
数据的完整性—-例如人的属性中缺少性别、籍贯、年龄等
数据的唯一性—-例如不同来源的数据出现重复的情况
数据的权威性—-例如同一个指标出现多个来源的数据,且数值不一样
数据的合法性—-例如获取的数据与常识不符,年龄大于150岁
数据的一致性—-例如不同来源的不同指标,实际内涵是一样的,或是同一指标内涵不一致
3. 数据采样
采集、清洗过数据以后,正负样本是不均衡的,要进行数据采样。采样的方法有随机采样和分层抽样。但是随机采样会有隐患,因为可能某次随机采样得到的数据很不均匀,更多的是根据特征采用分层抽样。
正负样本不平衡处理办法:
正样本
天津住宿(滨海新区最佳住宿之选)天津住宿(滨海新区最佳住宿之选)位置酒店位于滨海金融中心区核心位置,步行可达滨海高铁站,距离海洋公园周大福金融中心滨海新区图书馆等地标建筑咫尺之遥,可以说兼具商务出差和亲子度假两大
天津滨海新区怎么样(滨海新区户口算天津吗)中新社天津12月11日电(记者张道正)记者11日从天津市政府新闻办公室召开的新闻发布会上获悉,天津滨海新区未来将探索实施京冀居民在滨海新区落户及购房新政,吸引京冀居民在滨海新区安家
天津滨海新区怎么样(天津滨海新区适合居住吗)近年来,天津滨海新区以飞速的建设模式在前进,地铁教育商业,城市生态公园等项目建设如火如荼,除了提升居住环境生活便利度和绿色空间外,也持续带动周边板块的开发建设,吸引了众多房企与购房
滨海新区是哪个区(滨海新区户口算天津吗)来源人民网人民日报滨海新区位于天津市东部沿海,地处环渤海经济带和京津冀城市群的交汇点,是亚欧大陆桥最近的东部起点。行政区划面积2270平方公里,海岸线153公里。辖天津经济技术开发
塘沽怎么样(塘沽湾的房子值得买吗)我的观点是如果你是投资的话,最好不要来滨海新区买。因为这里可发展的面积太大了,正在发展的地方太多了,供应量完全可以满足于需求量,不管你的需求量有多大,这里的房子都能满足你。北塘中新
津南是哪里(津南是未来天津中心)津南区简史天津市津南区原为1948年成立的天津县,1953年成立津南郊区,1955年改名南郊区,19581962年并入河西区,1962年复设南郊区,1992年3月更名津南区至今。区
天津开发区属于哪个区(天津西区属于哪个区)近日一些国家出现新冠病毒变异株奥密克戎世界卫生组织将其列为需要的变异毒株要求各国加强监测与测序工作中国国家卫生健康委组织中国疾控中心专家研判认为,中国外防输入,内防反弹的防控策略对
天津哪个区买房好(滨海新区和东丽区哪买房好)首先我们分析一下天津市内六区,市内六区分为上三区和下三区,买市内六区多是为了孩子上学考虑和圈层的原因,首先分析一下市内六区的学校,在此插一句什么叫做学区呢,不是有学校就叫学区必须是
昆明有什么好玩的地方(昆明三日游最佳方案)来云南旅游不到昆明游玩一两天简直太可惜了,建议到昆明不要一刻不停的奔向丽江大理。昆明也值得你停留一两天。昆明作为云南省会城市,阿夏安心游在昆明多年,来好好盘点一下昆明地道玩法,赶紧
河南有什么好玩的(河南省哪里好玩的地方)国庆刚刚结束,河南旅游又迎来了新的重磅消息据人民网报道2021年10月10日至2021年11月10日期间,河南将开展豫见金秋惠游老家的活动。活动期间,河南将有432家A级景区免门票
什么的海鸥(一群什么样的海鸥二年级)一群洁白的海鸥在追逐航船的船尾,它们时而高飞,时而俯冲到螺旋桨翻滚的海水中觅食,亲亲热热地生活在一起。骤然间,一只丹顶鹤掠过它们,头微微地抬着,双腿并拢向后直伸,有节奏地扑扇着翅膀