大数据计算模式批处理ampampamp流处理
大数据要实现业务落地的前提,是企业需要搭建起自身的大数据平台,去实现对数据价值的挖掘和应用。根据实际的业务场景需求,不同类型的数据,需要不同的计算处理模式。今天我们就来聊聊批处理和流处理两种大数据计算模式。
数据驱动策略的到来,使得企业对自身所拥有的数据资源开始有了更深刻的认识,意识到数据的价值之后,接下来就是要实现对这些数据的价值挖掘。
企业搭建大数据平台,目前行业当中的主流选择,集中在Hadoop(MapReduce)、Spark、Storm、Flink等几个框架上,这其中包括批处理、流处理、以及两者兼具的选择。对于企业而言,就需要根据自身的需求及成本、人力等方面的考虑,来进行技术选型。批处理模式:
典型的批处理框架就是Apache Hadoop。Hadoop是首个在开源社区获得极大关注的大数据处理框架,其原生的MapReduce引擎,主要采取的"分而治之"的分布式计算模式。
MapReduce,将一个分布式计算过程拆解成两个阶段:
Map阶段,由多个可并行执行的Map Task构成,主要功能是将待处理数据集按照数据量大小切分成等大的数据分片,每个分片交由一个任务处理。
Reduce阶段,由多个可并行执行的Reduce Task构成,主要功能是,对前一阶段中各任务产生的结果进行规约,得到最终结果。
即使过去了这么多年,Hadoop在基础架构上仍然占据重要位置,但是MapReduce引擎,作为Hadoop原生计算引擎,却受到诟病:
比如:编程模型抽象程度较低,仅支持Map和Reduce两种操作;Map的中间结果需要写入磁盘,多个MR之间需要使用HDFS交换数据,不适合迭代计算(机器学习、图计算)等。但是,作为最早的大数据处理引擎,Hadoop MapReduce值得被铭记。流处理模式:
而流处理模式的代表框架,就不得不提到Apache Storm了。
Storm是一种侧重于低延迟的流处理框架,以近实时方式处理源源不断的流数据。Storm的基本思想是使用spout拉取stream(数据),并使用bolt进行处理和输出,Storm数据处理延时可以达到亚秒级。批处理+流处理模式:
随着大数据的进一步发展,单纯的批处理与单纯的流处理框架,其实都是不能完全满足企业当下的需求的,由此也就开始了批处理+流处理共同结合的混合处理模式。
批处理+流处理的典型代表框架,那就不得不说Apache Spark。Spark是基于Hadoop MapReduce计算模型的优化,Spark通过内存计算模型和执行优化大幅提高了对数据的处理能力(在不同情况下,速度可以达到MR的10-100倍,甚至更高)。
而Spark的流处理能力,则是由Spark Streaming模块提供的。Spark引入微批次(Micro-Batch)的概念,即把一小段时间内的接入数据作为一个微批次来处理。但是与Storm等原生的流处理系统相比,Spark Streaming的延时会相对高一些。
Apache Flink同样支持流处理和批处理,FLink的设计思想,是"有状态的流计算",将逐项输入的数据作为真实的流处理,将批处理任务当作一种有界的流来处理。
在目前的流数据处理框架领域,Flink可谓独树一帜。虽然Spark同样也提供了批处理和流处理的能力,但Spark流处理的微批次架构使其响应时间略长。Flink流处理优先的方式实现了低延迟、高吞吐和真正逐条处理,这也是这几年Flink越来越受到重视的原因所在。
关于大数据计算模式,批处理&流处理,以上就为大家做了简单的介绍了。大数据处理,不管是批处理、流处理还是两者结合的混合处理,从根本上来说,还是需要根据不同的数据类型和数据需求来进行技术选型的。
8。FastAPIHeader参数8。FastAPIHeader参数在FastAPI中,使用fastapi模块的Header来声明Header参数。与Path,Query和Body一样,第一个参数是默认值,也可以设
骆驼股份公司12V锂电辅助电池已经拿到多个厂商的定点骆驼股份表示,由于性价比和安全稳定等原因,目前市面上绝大多数新能源车的起动电池依然采用的是铅酸电池,12V锂电辅助电池的采用处于起步阶段。公司的12V锂电辅助电池已经拿到多个厂商的
谷歌被曝误导出版商从中获利谷歌涉嫌在其广告拍卖的定价和流程中误导出版商和广告商,制定了一些秘密项目,令一些公司的销售额下降,同时提高了买家的价格。随后将其告诉出版商和广告商广告成本的差价收入囊中,并利用这笔
原色高亮度电视比影院还清晰三星全新显示技术QDOLED曝光在CES上,三星公布的QDOLED技术引起了不小关注。而在近日,三星显示官方表示,QDDisplay(QDOLED)已通过了知名认证鉴定服务提供商SGS的三项认证,分别为真彩色调纯
日本女生到底多爱iPhone?给iPhone洗澡还不够!竟还拍照反问苹果公司的生态遍布各行各业,已然成为一个老大哥的样子,系统受人追捧,硬件产品更是如火如荼的销售,业绩根本不用愁,虽然小T我,没(因)怎么用过(为)它的(穷)产品,但是略知一二,的确
2021年日本10款最畅销无反(微单)相机BCNRetail发布了2021年日本最畅销的10款无反光镜相机名单索尼佳能富士和OMDigitalOlympus进入前10名,而尼康和松下没有一款型号进入前10名。索尼Alpha
2022年1月电脑配置推荐1月份装机就是参与年货节活动,会有一定的优惠,显卡现在依旧处于高溢价状态,不过本月有几张新卡发布,倒是能一定程度上缓解部分预算阶段用户的需求,CPU12代性能提升很大,但是由于刚发
工银新能源汽车混合A基金经理变动增聘杜洋为基金经理2022年1月15日,工银新能源汽车混合(005939)发布公告,增聘杜洋为基金经理,任职日期自2022年1月15日起,闫思倩不再担任该基金基金经理,离任日期为2022年1月15日
聚合支付系统如何盈利支付宝和微信支付的盛行,让聚合支付应运而生。很多人不知道什么是聚合支付,了解一些的人认为聚合支付就是用支付宝和微信都可以扫码付款的二维码这样说也不是完全错误,因为那只是它其中的一部
2022年,新手还能不能做亚马逊?昨天一个以前的同事突然打来电话,说天哥,听说你在做亚马逊,做的还不错,我最近刚离职,在家没事做,也想做亚马逊,现在亚马逊好不好做,能不能带他一起做。这个同事我比较了解,以前做平面设
小眼睛老虎Logo?苹果上架虎年新春礼品指南,网友吐槽像老鼠为了迎接庆祝中国传统新年,苹果官网正式上架虎年新春礼品指南,将原本苹果Logo换为极具本土特色的虎头元素。可能是因为文化存在差异,苹果打造的虎头Logo受到网友吐槽,这哪里是百兽之