大数据入门SparkStreaming实际应用
作为Spark负责流计算的核心组件,Spark Streaming是整个Spark学习流程当中非常重要的一块。对于Spark Streaming,作为Spark流计算的实际承载组件,我们也需要更全面的掌握。今天的大数据入门分享,我们就来讲讲Spark Streaming实际应用。
一、关于Spark Streaming
实际上来说,Spark进行数据计算处理,是继承了Hadoop MapReduce的理念,因此从实质定性来说,Spark仍然是一个批处理框架,而非流处理框架。
Spark Streaming由于其本身的扩展性、高吞吐量以及容错能力等特性,能够提供近实时的数据处理。简单来说,Spark Streaming是因为批处理的速度较快而达到了类似实时的效果。
Spark Streaming的近实时处理,也可以理解为微批实时处理,将不断输入的数据流先进行分批,就像坐电梯一样,把一批数据装入电梯,然后一批批的去输送,每一批的间隔是以秒级别的。
二、Sparkstreaming应用场景
基于Spark Streaming优秀的性能表现,在很多的企业级应用场景,如网站监控和网络监控、异常监测、网页点击、用户行为、用户迁移等,都能够给出合理的解决方案。
总的来说,Spark Streaming适用于:
不要求纯实时,不要求强大可靠的事务机制,不要求动态调整并行度的类似场景当中;其次是如果项目需求除了实时计算,还有一定量的批处理任务,那么Spark streaming也能很好地解决。 三、Spark Streaming程序结构
Spark Streaming功能结构上通常包含以下五部分——
1、导入Spark Streaming相关包:
Spark Streaming作为Spark框架上的一个组件,具有很好的集成性。在开发Spark Streaming应用程序时,只需导入Spark Streaming相关包,无需额外的参数配置。
2、创建StreamingContext对象:
同Spark应用程序中的SparkContext对象一样,StreamingContext对象是Spark Streaming应用程序与集群进行交互的唯一通道,其中封装了Spark集群的环境信息和应用程序的一些属性信息。
3、创建InputDStream:
Spark Streaming需要根据数据源类型选择相应的创建DStream的方法。
4、操作DStream:
对于从数据源得到的DStream,用户可以调用丰富的操作对其进行处理。
5、启动与停止Spark Streaming应用程序:
在启动Spark Streaming应用程序之前,DStream上所有的操作仅仅是定义了数据的处理流程,程序并没有真正连接上数据源,也没有对数据进行任何操作,当ssc.start()启动后程序中定义的操作才会真正开始执行。
四、Spark Streaming优缺点
优点:
Spark Streaming基于Spark Core API,因此其能够与Spark中的其他模块保持良好的兼容性,为编程提供了良好的可扩展性;
Spark Streaming是粗粒度的准实时处理框架,一次读取完或异步读完之后处理数据,且其计算可基于大内存进行,因而具有较高的吞吐量;
Spark Streaming采用统一的DAG调度以及RDD,因此能够利用其lineage机制,对实时计算有很好的容错支持;
Spark Streaming的DStream是基于RDD的在流式数据处理方面的抽象,其transformations以及actions有较大的相似性,这在一定程度上降低了用户的使用门槛,在熟悉Spark之后,能够快速上手Spark Streaming。
缺点:
Spark Streaming是准实时的数据处理框架,采用粗粒度的处理方式,当batch time到时才会触发计算,这并非像Storm那样是纯流式的数据处理方式。此种方式不可避免会出现相应的计算延迟。
关于大数据入门,Spark Streaming实际应用,以上就为大家做了简单的介绍了。Spark在大数据学习当中,是非常重要的一部分,也是作为大数据开发工程师必备的技能点,值得多花时间去深入理解和掌握。
什么原因让房子装修看起来很廉价?每个人装修房子,心里都想着一定要把房子装修得漂亮点,给自己长长面子。但装修完后,发现装修出来的房子并没有达到自己的预期效果,明明花了大价钱装修的新房反而给人廉价丑的印象,究竟是哪里
神仙手游躺着赚钱!养老玩家小目标一个亿?两亿都成微博上的一条热搜在银行存款一亿是什么体验让网友有了做梦的素材,很多网民就此开启了一亿梦境。不可否认的是,一亿存款对于普通人来说可太艰难了,咱也不是某林,小目标就是一个亿。作为平民,
炉石传说最简单的任务?盗贼新体系降临,1费神卡太强了新版本上线的日子马上就要到了,不知道大家有没有准备好金币,最近看了好几局试玩比赛,发现暴风城这个版本的单卡质量不是一般的高,可以说是近几年来,强度最超模的一次。另外这次的超级预购合
告别湿哒哒的回南天,这几件好物值得种草对于南方人来说,春天是个喜忧参半的季节,喜的是气候终于回暖了,忧的是湿哒哒的回南天也来了。特别是踏进家中那一刻,被回南天支配的恐惧特别明显,晒不干的衣服,散发着霉味的衣柜,还有潮乎
EXCEL版个人跑力值和跑力曲线计算工具世界知名跑步教练丹尼尔斯创造的跑力(VDOT),是一个衡量跑者体能肌力技术与心志的综合指标,跑力值越高,代表一个人的跑步实力越强。本工具可用于1计算个人跑力值和基于当前跑力值的训练
游戏王DL国服鬼计折磨卡组玩出花,真就上王之后的快乐工具最近随着游戏王决斗链接国服新角色鬼骨冢的上线,想必不少玩家们都已经发现这个角色自带的全新体系了吧?没错,就是这个主打不死族的鬼计体系。这一体系不仅在动画中表现平平,而且在实卡中也没
十秒内找到你要搜索的文件,这样的工具你要吗当你的电脑文件特别多的时候,特别是文档没有归类存放。你想用想系统的搜索工具,搜索你需要的文件时,等待搜索的过程是非常烦人的过程,每次都要等几分钟以上才有结果,而且查到的结果也不一定
洗衣机,除了放在阳台,这些位置值得考虑每天上班,早上出门,晚上才回家,回到家唯一想做的是葛优躺,至于煮饭做家务等等,缓缓再说吧,但这一缓可能就是隔天也没有去做。很多事情可能忍忍就过了,毕竟不影响正常生活,但每天换洗的衣
拯救小户型,需要学会这几招就目前而言,小户型依旧是满足居住刚需及购房预算的香饽饽,尽管它存在诸如面积太小空间规划不合理南北不通透等等问题,依旧阻挡不了买房人对于它的偏爱。毕竟,在房价如此高昂的形势下,价低的
叮!你有一套全屋隔断设计方案待查收隔断是室内设计中用于区分不同空间,形成彼此阻隔的一种造型元素,诸如屏风置物架柜体玻璃框等等,都属于隔断的范畴。它于空间而言,除了起到基础的分隔作用外,还是一种可物化的视觉元素,以及
蔚来高速至死事故它未导致事故发生,只是没阻止某些事故发生?关注并标星电动星球News每天打卡阅读更深刻理解汽车产业变革出品电动星球News作者蟹老板本人今天中午,我们在微博做了连麦直播,主持人是新浪汽车。直播话题是如何看待辅助驾驶普及但事