技术选型OLAP大数据技术哪家强?
导读 :分享不易,可以收藏关注转发。
随着大数据组件越来越多,很多组件都是为OLAP数据服务的,什么组件或者组件组合最合适可能是我们关注的问题。本文大体分析业内常见的组件特点,给大家挑选组件提供借鉴。
Lambda架构的核心理念是"流批一体化",因为随着机器性能和数据框架的不断完善,用户其实不关心底层是如何运行的,批处理也好,流式处理也罢,能按照统一的模型返回结果就可以了,这就是Lambda架构诞生的原因。现在很多应用,例如Spark和Flink,都支持这种结构,也就是数据进入平台后,可以选择批处理运行,也可以选择流式处理运行,但不管怎样,一致性都是相同的。
Kylin
Kylin的主要特点是预计算,提前计算好各个cube,这样的优点是查询快速,秒级延迟;缺点也非常明显,灵活性不足,无法做一些探索式的,关联性的数据分析。
适合的场景也是比较固定的,场景清晰的地方。
ClickHouse
Clickhouse由俄罗斯yandex公司开发。专为在线数据分析而设计。
Clickhouse最大的特点首先是快 ,为了快采用了列式储存,列式储存更好的支持压缩,压缩后的数据传输量变小,所以更快;同时支持分片,支持分布式执行,支持SQL。
ClickHouse很轻量级,支持数据压缩和最终数据一致性,其数据量级在PB级别。
另外Clickhouse不是为关联分析而生,所以多表关联支持的不太好。
同样Clickhouse不能修改或者删除数据,仅能用于批量删除或修改。没有完整的事务支持,不支持二级索引等等,缺点也非常明显。
与Kylin相比ClickHouse更加的灵活,sql支持的更好,但是相比Kylin,ClickHouse不支持大并发,也就是不能很多访问同时在线。
总之ClickHouse用于在线数据分析,支持功能简单。CPU 利用率高,速度极快。最好的场景用于行为统计分析。
Hive
Hive这个工具,大家一定很熟悉,大数据仓库的首选工具。可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能。
主要功能是可以将sql语句转换为相对应的MapReduce任务进行运行,这样可能处理海量的数据批量,
Hive与HDFS结合紧密,在大数据开始初期,提供一种直接使用sql就能访问HDFS的方案,摆脱了写MapReduce任务的方式,极大的降低了大数据的门槛。
当然Hive的缺点非常明显,定义的是分钟级别的查询延迟,估计都是在比较理想的情况。 但是作为数据仓库的每日批量工具,的确是一个稳定合格的产品。
Presto
Presto极大的改进了Hive的查询速度,而且Presto 本身并不存储数据,但是可以接入多种数据源,并且支持跨数据源的级联查询,支持包括复杂查询、聚合、连接等等。
Presto没有使用MapReduce,它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中,这也是它的性能很高的一个主要原因。
Presto由于是基于内存的,缺点可能是多张大表关联操作时易引起内存溢出错误。
另外Presto不支持OLTP的场景,所以不要把Presto当做数据库来使用。
Presto相比ClickHouse优点主要是多表join效果好。相比ClickHouse的支持功能简单,场景支持单一,Presto支持复杂的查询,应用范围更广。
Impala
Impala是Cloudera 公司推出,提供对 HDFS、Hbase 数据的高性能、低延迟的交互式 SQL 查询功能。
Impala 使用 Hive的元数据, 完全在内存中计算。是CDH 平台首选的 PB 级大数据实时查询分析引擎。
Impala 的缺点也很明显,首先严重依赖Hive,而且稳定性也稍差,元数据需要单独的mysql/pgsql来存储,对数据源的支持比较少,很多nosql是不支持的。但是,估计是cloudera的国内市场推广做的不错,Impala在国内的市场不错。
SparkSQL
SparkSQL的前身是Shark,它将 SQL 查询与 Spark 程序无缝集成,可以将结构化数据作为 Spark 的 RDD 进行查询。
SparkSQL后续不再受限于Hive,只是兼容Hive。
SparkSQL提供了sql访问和API访问的接口。
支持访问各式各样的数据源,包括Hive, Avro, Parquet, ORC, JSON, and JDBC。
Drill
Drill好像国内使用的很少,根据定义,Drill是一个低延迟的分布式海量数据交互式查询引擎,支持多种数据源,包括hadoop,NoSQL存储等等。
除了支持多种的数据源,Drill跟BI工具集成比较好。
Druid
Druid是专为海量数据集上的做高性能 OLAP而设计的数据存储和分析系统。
Druid 的架构是 Lambda 架构,分成实时层和批处理层。
Druid的核心设计结合了数据仓库,时间序列数据库和搜索系统的思想,以创建一个统一的系统,用于针对各种用例的实时分析。Druid将这三个系统中每个系统的关键特征合并到其接收层,存储格式,查询层和核心体系结构中。
目前 Druid 的去重都是非精确的,Druid 适合处理星型模型的数据,不支持关联操作。也不支持数据的更新。
Druid最大的优点还是支持实时与查询功能,解约了很多开发工作。
Kudu
kudu是一套完全独立的分布式存储引擎,很多设计概念上借鉴了HBase,但是又跟HBase不同,不需要HDFS,通过raft做数据复制;分片策略支持keyrange和hash等多种。
数据格式在parquet基础上做了些修改,支持二级索引,更像一个列式存储,而不是HBase schema-free的kv方式。
kudu也是cloudera主导的项目,跟Impala结合比较好,通过impala可以支持update操作。
kudu相对于原有parquet和ORC格式主要还是做增量更新的。
Hbase
Hbase使用的很广,更多的是作为一个KV数据库来使用,查询的速度很快。
Hawq
Hawq是一个Hadoop原生大规模并行SQL分析引擎,Hawq采用 MPP 架构,改进了针对 Hadoop 的基于成本的查询优化器。
除了能高效处理本身的内部数据,还可通过 PXF 访问 HDFS、Hive、HBase、JSON 等外部数据源。HAWQ全面兼容 SQL 标准,还可用 SQL 完成简单的数据挖掘和机器学习。无论是功能特性,还是性能表现,HAWQ 都比较适用于构建 Hadoop 分析型数据仓库应用。
中医这样缓解足跟痛,一张外洗方送给有需要的患者朋友最近有很多患者留言咨询足跟痛的问题,今天就给大家来谈一谈足跟痛。很多人认为足跟痛就是因为脚底长了骨刺所致,其实不尽然,有时候足跟的骨质以及关节或者筋膜引起的病变同样会引起足跟痛。那
这4类人容易被慢阻肺盯上,做好这4件事,肺能好受些慢阻肺是一种慢性进行性发展加重的严重肺部疾病,该疾病的出现和肺部对各种有害颗粒以及有害气体所产生的异常炎症反应有着极为密切的联系。而受到慢阻肺所危害的患者,会因为病情的反复发作以及
润肺清心话百合百合是很多人非常熟悉的药食两用的佳品,绝大多数人知道百合有个鼎鼎大名的功用就是养阴润肺,可以治疗咳嗽。当然,咳嗽类型也分为很多种,百合主要用于阴虚燥咳,症状是咳嗽无痰或者少痰,夜间
咸菜咸鱼不能吃,可能会致癌?做好4个前提,吃得更放心一直以来,腌渍食物都是我国传统饮食方式之一,在古代那个没有电冰箱,且新鲜食物缺乏的时候,例如咸菜咸鱼等腌渍食物,就是保证一家人秋冬季不会饿肚子的基础。但到了现在,人们对健康的追求愈
怎么做才能减少白癜风复发的几率?相信很多人都知道白癜风的发病诱因比较复杂,所以在治疗上有一定的难度,它不仅治疗周期长,而且还易复发易扩散。很多患者就在白斑治疗好后,过了一段时间又发现自己的皮肤上面出现了白癜风,这
隔夜西瓜能不能吃?怎样吃比较安全?炎炎夏日雨水增多人也容易燥热夏天待在空调房里吃吃瓜是一件很幸福的事!西瓜钾和果糖的含量比较高,果糖在低温下比较甜,所以很多人喜欢吃冰镇西瓜。由于西瓜的个头比较大,人口少的情况下,一
四五十岁的女人,想要摆脱大妈感,试试日杂风穿搭,真显气质四五十岁的女人,正是最沉稳优雅的年纪。气质更加优越,姿态更加低调,行事也更加沉稳。而穿衣搭配上,四五十岁的女人则需要更加注重气质和品味的呈现。没有必要像年轻女人一样,穿着过分紧身的
会打扮和不会打扮的女人,差距多半在配色上,选对了减龄高级炎热的夏季,只是穿普通的基础色时装,穿搭难免会显得过分单调。毕竟夏季是一个非常热情的季节,我们可以尝试不同的彩色,让搭配变得焕然一新。对于年轻的女性来说,穿彩色时装是没有什么顾虑的
国王或签豪斯,火箭可做三方交易,送走老臣换回首轮签到期合同29岁的豪斯正在寻找下一份合同,他本赛季加盟爵士打得还不错,常规赛投出了41。5的三分命中率,防守也相当努力,季后赛也捞到了场均19分钟的上场时间,数据为4。3分2。8板。爵士目前
四川一市走运了,被303亿高铁砸中,未来发展有望腾飞当你对生活感到难过的时候,当你的压力马上就要达到临界值的时候,当你想要放松心情的时候,听我的,去旅行吧!踏上旅程,去享受旅行的乐趣,品味大自然的魅力,相信我,你一定会被那美丽震撼。
小夫妻,揣着1500块钱去环游世界揣着1500块钱,带着比我大8岁的阿姨环游世界,还有三个月我们就出发两年了。我们结婚没有婚房,没有彩礼,没有存款,甚至没有举办婚礼,开着一辆面包车环游世界,你们觉得应该吗?有很多人