童话说说技术创业美文职业
投稿投诉
职业母婴
职场个人
历史治疗
笔记技能
美文纠纷
幽默家庭
范文作文
乐趣解密
创业案例
社会工作
新闻家居
心理安全
技术八卦
仲裁思考
生活时事
运势奇闻
说说企业
魅力社交
安好健康
传统笑话
童话初中
男女饮食
周易阅读
爱好两性

亿级订单量下,美团外卖的风控设计是怎样的?

11月15日 失了心投稿
  试问:谁不想成为一个做出亿级体量的产品or研发呢?有目标才有前进的方向,有方向才有一步一个脚印的实现。亿级体量四个字,不仅意味着成就感与光环,更意味着压力与责任。
  今天分享的内容,来自美团外卖的风控负责人蔡敏老师。蔡老师有互联网行业10余年从业经验,先后任职于58到家、58同城、百度等互联网顶级大厂,在大数据、风控、支付等领域有多年架构和技术管理经验。蔡老师将从自身项目经验出发,为大家解读亿级订单体量下的美团外卖风控架构是如何设计的。
  关于美团风控设计,可以分为3个版块:
  业务的流程;
  技术的架构;
  常用的策略。
  一、概述
  风控即风险控制。
  一般来讲,风控分为两大方向:
  1。信用风控
  信用风控广泛适用于日常生活中,例如银行贷款或者P2P贷款,机构会对借款人进行偿还能力评估,是否有逾期或者恶意欠款等情况。
  2。反舞弊风控
  目前有许多黑产活跃在互联网上,我们的目标是魔高一尺道高一丈,与骗子之间不断攻防的过程,就是反舞弊风控。
  财务的风险行为定义如图所示:
  账户安全;这部分很好理解,就是日常生活中常见的盗卡、盗余额,一般公司应该都有这个模块。
  商家刷单;由于美团是平台型,商家排名有严格的标准。有些商家为了排名前进,会有刷单的行为。商家刷单分为刷排名、刷销量、刷好评。
  用户作弊;这个就是羊毛党啦,很多公司对羊毛党的态度是闻之色变,其实没有必要。我们在风控设计时对撸羊毛这一行为要进行适当的控制,主要控制规模不可以太大;不要太混乱影响普通用户的体验。
  二、风控的特性
  风控的特性,或者说是特征,总结了三条:
  1。高对抗性
  即与上文中提到的黑产进行对抗。任何平台只要有利可图,黑产会不间断24小时兜圈子。打游戏的同学更容易理解一些,各种游戏都会出现有组织有规模的工作室去找游戏的Bug,刷金、刷装备、盗号来谋取钱财。这就需要我们不断去对抗,一直与黑产处于攻防阶段。
  美团和58这种平台,黑产去发帖子刷排名,单价很可观的,所以黑产动力很足,需要我们有这个意识,对方是不会休息的。
  2。准确性
  风控领域有两个要点,一个是准确性,另一个是召回率。准确率之所以在风控领域格外重要,是因为所有的策略、模型都无法保证百分百的成功与正确。策略和模型的准确率低一点,用户及商户的投诉就会随之上升。因此准确率要比召回率更中啊哟,一个策略的准确率应达到99才允许上线。
  3。灵活性
  由于黑产打得都是持久战,我们通过人工进行全天对抗是不太可能的,所以策略应当保证能够随时监控、随时修改、及时更新,即灵活性强。
  三、风控的整体架构
  风控的整体架构可以分为三个大的系统:
  实时风控;
  准实时风控;
  离线风控。
  区分的标准是根据策略的速度:
  实时风控:举个例子美团的实时风控要求必须为毫秒级同步返回,用户下单时必须要实时监控同步调用,每天亿级的调用量就要求每次调用不可以是秒级别。
  准实时风控:一般来讲几秒甚至几分钟以内返回都可以,因为采用的是异步调用事后处理,这种方式计算的数据量和可利用的数据量资源比实时风控会多很多。
  离线风控:一般通过ETL来做。
  如图所示第二层是策略系统。策略系统时风控的核心系统,包含着规则、管理以及监控的功能。
  策略系统在设计的过程中,最关键的是:
  配置是否方便快捷,策略能不能够快速上线是决定性的要素。因为我们一般在上线之前,首先需要灰度测试人工处理机器处理,因此要去策略系统配置一定要方便快捷。
  规则引擎性能要高。
  最下面一层是特征库,具备黑白名单、统计数据以及特征数据等功能。特种库对于系统的性能应该是最重要的,因为亿级体量的数据量是十分庞大的,因此在设计时要用到一些大数据框架。
  图中左侧的处理系统即统一的处罚系统,无论是对商家还是用户的处罚都会归到这个处罚系统中;右侧主要是一些公共组建,包含过载保护、报表、监控报警等等功能。这就是一个完整的风控架构。
  四、风控关键流程
  风控的流程可以分为六个关键性流程:
  业务启动的初期,风控其实就随之开始了,但是没有必要做到上文中我们提到的那些具体动作。
  从监控开始,针对业务的监控需要看看我们新上线的业务是否有黑产出现;
  情报,情报指的是收集与我们业务相关的数据,需要到外部去收集,比如论坛、社群,了解黑产的手段、特征,了解商家的刷单行为模式等等,这些数据可以帮助评估风控工作的效果以及后续改进方向;
  评估,评估工作是风控中比较重要的一环,需要产品和技术共同对收集的数据进行评估,完成之后对应的策略及模型也就自然而然地产生了;
  策略和模型,策略和模型在实际工作过程中各有利弊,策略短平快,随着数据的收集对应的策略即可直接堵住最严重的漏洞,但策略的幻化能力(能够轻易被绕过的能力)相对于弱一些,毕竟策略只是简单、已知的规则,因此就需要模型进行填充,但模型的弊端在于开发需要周期;
  处罚,这个就是字面意思;
  建立知识库,处罚完成之后将信息积累到知识库,即可产生黑白名单、用户商家的画像等等。
  五、实时监控架构
  随着业务量的增多,监控不能依靠简单的离线报表进行,离线一般来讲是T1,等发现的时候已经太晚了,因此要进行实时监控。
  如图所示,实时监控分为:
  实时数据源,例如Binlog、Kafka等等;
  流计算,目前美团采用实时指标系统CalciteFlinkSQL,比较方便简单;
  计算结果输出;
  数据应用,用于预警和监控等等功能。
  六、风控策略的难点
  如图所示:风控的难点与风控的特性一一对应。
  灵活性:与黑产的对抗无处不在、无时不刻,因此需要保证策略的灵活性;
  可解释性:策略及模型无法保证百分之百的准确性,因此出现投诉时需要对用户进行解释;客服如何清晰地抓取到用户、用户被处罚的理由等等,需要强有力的解释;
  更新速度:策略更新速度要快,也是为了及时止损。
  七、风控模型策略
  上图列出的其实是风控策略和模型中比较基础的:
  异常检测;
  知识图谱;
  用户画像即风险评分。
  这部分分为两大块,一种是有监督评分,一种是无监督评分。很多公司在前期没有足够的正负样本,可以采用无监督评分,只要有数据就可以采用这种方式,可解释性也足够强。
  1。异常检测
  可以简单分为三种:
  基于数据统计,例如同一个IP登陆成功率非常高,这是有风险的信号,背后可能意味着是同一伙人,100个人不可能说一次性都能输对密码,违反常理;同样的,登录成功率非常低的,可能就是暴力破解、撞库。基于数据统计,可以找到异常特征。
  聚类,聚类完成之后会有离群点,离群点即可判断为异常。
  孤立森林,这个方法在异常检测领域效果最好,它的理论是将一个人的所有行为想象成一棵树,在某些分支上与其他分支出现了强不同,则该分支出现了问题。例如你同一台设备同一个IP,导致你的行为都是类似的;但有的人同一个IP多台设备,很容易被这种方法捕捉到异常。
  2。知识图谱
  如图所示,知识图谱即多对多的关系,举登录的例子,设备ID与登录ID未必是一对一的关系,同一台设备可以有多个人登录,同一个登录ID又可以在多个设备上登录,但重要的是一个人无法同时登录N个设备,同样N个设备也不可能被N个人登录,因此很容易捉到异常。
  3。用户画像
  用户画像就是通过采集到的基础特征,推测一些其他的特征然后给用户贴标签,例如风险评分、信用频评分。具体的方法每个公司略有不同,大家看图了解一下即可。
投诉 评论 转载

倒推“潮汐”APP的产品需求文档潮汐app是一款美好的番茄闹钟与白噪音应用,本文是关于“潮汐”APP的产品需求文档,来看看目录一、文档综述1。文档属性2。产品介绍3。产品定位……设计师必备的几个排版小技巧!排版对于整个设计来讲至关重要,今天这篇文章,将主要从排版的角度分享一些小技巧,教大家怎样做出让用户能看得懂的好设计。信息爆炸的时代,作为一个设计师,每天想必打交道最多的就……4个步骤,小结搜索系统搜索系统作为用户自行使用的引导工具,重要程度不言而喻;本文主要从4步:需求识别、检索、排序、展现来总结搜索系统的工作机制。搜索是一个比较有年份的功能,他不是一个简单的搜索……身为产品,在页面适配中需要定义哪些内容?页面适配让页面在不同的屏幕分辨率下可以正常显示,使页面布局不会乱,产品设计在做页面适配时需要注意哪些内容呢?刚开始做页面适配时懵懵懂懂只知道我希望我的产品页面在不同分辨率……身为设计师,如何成功地交付设计成果?本文是一个全面的设计交付指南,其中将为大家分享一些技巧,帮助设计师能够顺利完成团队在执行阶段的协作工作。创造一个好产品是一个不断打磨和实现想法的过程,但完成一个有序且经过……在线职业资格认证培训MRD在线教育分为职业教育、K12教育、学前教育、高等教育、语言学习、素质教育,而在线职业教育又分为学历类和非学历类,在线职业资格证培训属于非学历类,是在线职业教育的一个细分领域。本……亿级订单量下,美团外卖的风控设计是怎样的?试问:谁不想成为一个做出亿级体量的产品or研发呢?有目标才有前进的方向,有方向才有一步一个脚印的实现。亿级体量四个字,不仅意味着成就感与光环,更意味着压力与责任。今天分享……设计沉思录设计风格的构建与验证方法探索我们在逐步抽象出品牌概念后,通过建构对应情感与表达方式的映射关系来构建契合品牌的视觉风格;且秉承对于设计验证的理念,我们探索了针对视觉风格的验证思路与方法,这不仅使得设计目标得……分账平台的基础设计本文主要介绍分帐平台的基础设计:平台如何提供资金清算服务、向支付公司发送资金清算请求、由支付公司替平台商户将资金清算给平台中的商家。一、实现目标为平台商户提供资金清……用户转化率低?4个案例教你设计用户CTA“行为召唤”CTA,即CalltoAction,行为召唤,指在网站、App中用于引导用户自发完成某种特定行动。本篇文章为大家介绍了四个经典的CTA案例。“行为召唤(CalltoAct……电商业务建模:6大维度组合不同的业务模型电商业务有一些关键点,而这些关键点的组合就是一个个的业务模型,业务再怎么跳也跳不出这个圈,知己知彼,方能百战不殆。一、前言:开始在做订单系统的时候总是被业务推着走,……对支付结算平台的产品结构分析本篇文章对支付结算平台的产品结构进行了相关分析,提供给有需要的小伙伴们作为参考!本文为在学习和了解某交易平台的支付结算产品结构时,自己做的一些分析和整理的产品思路,可能跟……
一套表情是一个对话系统:关于原创表情设计的思考自由联合、自动解散:一个罗辑思维订户眼中的互联网思维周鸿祎:颠覆传统企业就两招伟大的产品必定具有优秀的主旨陌陌该怎样卸下约炮神器的“美誉”?做产品,到底是EQ的问题还是IQ的问题?前工程师揭秘:谷歌地图这样计算导航路线网页与APP中那些优美的登陆表单移动网站设计应该避免的“七宗罪”更接近于现实的社交产品设计社会化广告微信新版内测图曝光:又挑战使用习惯了到底什么是极简主义?
立秋后的收和养托斯卡纳皮毛一体有没有内里清明节马上来临,记得给家人吃这6种传统美食,寓意阖家安康性早熟的西医治疗有哪些Angelababy金发仙女庆生照曝光,戴蜻蜓翅膀瘦出排骨胸建立自己的元件库(三)进度条老婆和谁开过房能查出来吗(请问查房记录能查同住人吗)我已倦了央美教授刘彦湖书法个性强烈,布局密不透风,线条又硬又直,惊奇徽县被列入长征(红二方面军)片区的历史背景之战争史(二)怀孕多久可以做超超对胎儿有影响吗如何穿出优雅知性风的大裤脚?这3个诀窍很实用

友情链接:中准网聚热点快百科快传网快生活快软网快好知文好找作文动态热点娱乐育儿情感教程科技体育养生教案探索美文旅游财经日志励志范文论文时尚保健游戏护肤业界