Flink操练(十七)之DS简介(17)FlinkCEP简介(二)
1.什么是 CEP
概念:
一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据,满足规则的复杂事件。
特征:
目标:从有序的简单事件流中发现一些高阶特征
输入:一个或多个由简单事件构成的事件流
处理:识别简单事件之间的内在联系,多个符合一定规则的简单事件构成复杂事件
输出:满足规则的复杂事件
CEP 用于分析低延迟、频繁产生的不同来源的事件流。CEP 可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的关系,以接近实时或准实时的获得通知并阻止一些行为。
CEP 支持在流上进行模式匹配,根据模式的条件不同,分为连续的条件或不连续的条件;模式的条件允许有时间的限制,当在条件范围内没有达到满足的条件时,
会导致模式匹配超时。
看起来很简单,但是它有很多不同的功能:
输入的流数据,尽快产生结果
在 2 个 event 流上,基于时间进行聚合类的计算
提供实时/准实时的警告和通知
在多样的数据源中产生关联并分析模式
高吞吐、低延迟的处理
市场上有多种 CEP 的解决方案,例如 Spark、Samza、Beam 等,但他们都没有提供专门的 library 支持。但是 Flink 提供了专门的 CEP library。 2 Flink CEP
Flink 为 CEP 提供了专门的 Flink CEP library,它包含如下组件:
Event Stream
pattern 定义
pattern 检测
生成 Alert
首先,开发人员要在 DataStream 流上定义出模式条件,之后 Flink CEP 引擎进行模式检测,必要时生成告警。
为了使用 Flink CEP,我们需要导入依赖: org.apache.flink flink-cep_${scala.binary.version} ${flink.version}
Event Streams
以登陆事件流为例:case class LoginEvent(userId: String, ip: String, eventType: String, eventTime: String) val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val loginEventStream = env.fromCollection(List( LoginEvent("1", "192.168.0.1", "fail", "1558430842"), LoginEvent("1", "192.168.0.2", "fail", "1558430843"), LoginEvent("1", "192.168.0.3", "fail", "1558430844"), LoginEvent("2", "192.168.10.10", "success", "1558430845") )).assignAscendingTimestamps(_.eventTime.toLong)3 Pattern API
4 个体模式
个体模式的条件
5 模式序列
6 模式检测
7 匹配事件提取
8 超时事件的提取
腾讯阿里世纪大和解!淘宝要支持微信支付了?经常在淘宝冲浪的大伙,一定感受过淘宝和微信之间的爱恨情仇。看起来,都是国民APP。但实际用起来,总觉得这俩来自不同的平行宇宙举个栗子我想在七夕前买个公仔,又不知道鹅妹喜欢哪一种,于
天猫淘宝可以用微信支付了?平台入驻商家将获得这些红利腾讯与阿里的世纪和解,震动了整个互联网。而目前,双方合作的进一步落地,也有了新动态。目前双方正在制定开放计划,腾讯将允许天猫淘宝等电商信息内容分享至微信及朋友圈生态,而阿里也将接入
淘宝商家陆续退出,电商难道不行了?原因在于这4点文林飞飞随着我国近两年的互联网市场的不断发展,很多实体店都遭遇到了前所未有的危机,而且改变了人们的购物方式和购物习惯,直播行业的兴起,电商职业的出现,让很多商家都将自己的商品搬运到
淘宝代运营公司,多少钱一个月。靠谱吗?文章背景专注电商运营多年,对淘宝天猫拼多多等电商平台的规则还算了解,对淘宝代运营市场有自己的一些认识,希望此篇文章能对大家有帮助。我觉得聊淘宝代运营这个事情要从下面几个点去剖析。1
消息称淘宝天猫将支持微信支付无印良品销售不合格童装罚35万元1快公司公布2021全球最佳创新奖阿里巴巴旗下天猫入选昨日,国际知名商业媒体快公司联合咨询公司埃森哲公布了2021全球最佳创新奖项,阿里巴巴位列第45位,成为唯一上榜的中国企业。快
拼多多取代淘宝吗曾经我以为b。a。t在国内无敌永远无法代替,因为这几个企业几年前不仅属于巨无霸,而且基本也是属于垄断型企业,万万没想到才几年,当年马云被封神,现在各种唾弃,世态炎凉。科技企业也迎来
从2999跌至1789,3200万前置4500mAh,三星5G手机重回低价今天我们来聊三星一款手机,三星作为全球排名第一的手机厂商,主打高端品牌,产品性价比肯定不高,如果喜欢性价比手机的,就不要选择这款手机了,喜欢国外品牌手机的倒是可以考虑一下,这款手机
做一个APP开发要投入多少钱?1。做一个APP开发要投入多少钱?公司企业在制作一个手机APP应用的时候,一般都是会考虑到这款APP开发的成本,就会经常向一些软件公司进行价格的询问,如做一个APP软件多少钱,成本
开发IntellijIdea插件介绍在过去几年中,JetBrains的IntelliJ很快成为Java开发人员的顶级IDE。使IntelliJ对Java开发人员如此有吸引力的一个特性是使用插件扩展和创建新功能的能
每天5分钟,python速成(11)首先明确学习目标,今天的目标是认识python中列表的循环遍历前面介绍for循环中已经介绍,再复习while和for循环注意1,使用while循环要加上常量02,while循环和f
搜狗输入法取消广告背后,是在丢车保帅两个月前,搜狗输入法QQ输入法讯飞输入法等多款输入法因,未完全满足网信办5月1日公布关于个人信息收集违规问题通报的整改要求,被AppStore及各大安卓应用商店等分发渠道下架。在经