数据中台数据仓库数据湖和BI究竟有什么区别
一、数据仓库
数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。
图1。数据仓库发展阶段划分
商务智能(BI,BusinessIntelligence)是一种以提供决策分析性的运营数据为目的而建立的信息系统。是属于在线分析处理:OnLineAnalyticalProcessing(OLAP),将预先计算完成的汇总数据,储存于魔方数据库(Cube)之中,针对复杂的分析查询,提供快速的响应。在前10年,BI报表项目比较多,是数据仓库项目的前期预热项目(主要分析为主的阶段,是数据仓库的初级阶段),制作一些可视化报表展现给管理者。它利用信息科技,将分散于企业内、外部各种数据加以整合并转换成知识,并依据某些特定的主题需求,进行决策分析和运算;用户则通过报表、图表、多维度分析的方式,寻找解决业务问题所需要的方案;这些结果将呈报给决策者,以支持策略性的决策和定义组织绩效,或者融入智能知识库自动向客户推送。
数据仓库(DataWarehouse)是一个面向主题的(SubjectOriented)、集成的(Integrated)、相对稳定的(NonVolatile)、反映历史变化的(TimeVariant)数据集合,用于支持管理决策和信息的全局共享。其主要功能是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,作一有系统的分析整理,以利各种分析方法如联机分析处理(OLAP)、数据挖掘(DataMining)之进行,并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建,帮助决策者能快速有效的自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)。〔1〕:引自全球数据仓库之父W。H。Inmon。
图2。数据仓库逻辑架构
图3。数据仓库的作用
图4。数据仓库提供价值
图5。数据仓库产品构成
图6。数据仓库产品构成
二、数据湖
数据湖(DataLake)是Pentaho的CTOJamesDixon提出来的(Pentaho作为一家BI公司在理念上是挺先进的),是一种数据存储理念即在系统或存储库中以自然格式存储数据的方法。CXOUNION(CXO联盟)、数字化转型网(szhzxw。cn)、中国数字化转型展、华东CIO大会、CDLC中国数字化灯塔大会、CXO数字化研学之旅、数字化江湖讲武堂,数字化江湖大侠传、数字化江湖论剑、CXO系列管理论坛(陆家嘴CXO管理论坛、宁波东钱湖CXO管理论坛等)、数字化转型网,走进灯塔工厂系列、ECIO、iTdaily、It经理人、CIO训练营、数字化江湖等
数据湖(DataLake)是一个存储企业的各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库,通常是对象blob或文件。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像,音频,视频)。来源:维基百科。
目前,Hadoop是最常用的部署数据湖的技术,所以很多人会觉得数据湖就是Hadoop集群。数据湖是一个概念,而Hadoop是用于实现这个概念的技术。
图7。数据湖的处理架构
图8。数据湖示意图
图9数据仓库、数据湖的区别
本文节选自数字化转型展
CXO联盟(CXOunion)是一家聚焦于CIO,CDO,cto,ciso,cfo,coo,chro,cpo,ceo等人群的平台组织,其中在CIO会议领域的领头羊,目前举办了大量的CIO大会、CIO论坛、CIO活动、CIO会议、CIO峰会、CIO会展。如华东CIO会议、华南cio会议、华北cio会议、中国cio会议、西部CIO会议。在这里,你可以参加大量的IT大会、IT行业会议、IT行业论坛、IT行业会展、数字化论坛、数字化转型论坛,在这里你可以认识很多的首席信息官、首席数字官、首席财务官、首席技术官、首席人力资源官、首席运营官、首席执行官、IT总监、财务总监、信息总监、运营总监、采购总监、供应链总监。
数字化转型网(www。szhzxw。cn)是聚焦于数字化转型的资讯媒体,是企业数字化转型的必读参考,在这里你可以学习大量的知识,如财务数字化转型、供应链数字化转型、运营数字化转型、生产数字化转型、人力资源数字化转型、市场营销数字化转型。通过关注我们的公众号,你就知道如何实现企业数字化转型?数字化转型如何做?
【CXOUNION部分社群会员】优刻得CDO、有方CDO、步科CDO、威高骨科CDO、埃夫特CDO、博瑞CDO、安博通CDO、石头CDO、百奥泰CDO、万德斯CDO、阿拉丁CDO、君实CDO、八亿时空CDO、生益CDO、康希诺CDO、广大特材CDO、时代CDO、柏楚CDO、南新CDO、智洋创新CDO、腾景CDO、卓越新能CDO、佰仁CDO、久日CDO、华峰测控CDO、信安世纪CDO、美迪西CDO、道通CDO、瑞晟智能CDO、气派CDO、睿昂基因CDO、江苏北人CDO、会通CDO、前沿CDO、成都先导CDO、威腾CDO、开普云CDO、博睿数据CDO、神工CDO、航宇CDO、寒武纪CDO、卓易CDO、昀冢CDO、泽璟CDO、华特气体CDO、凯立CDO、百克CDO、天智航CDO、特宝CDO、敏芯CDO、鸿泉物联CDO、圣湘CDO、和达CDO、东方CDO、长阳CDO、联瑞CDO、奕瑞CDO、大全CDO、科德数控CDO、欧科亿CDO、恒誉CDO、迈得CDO、盟升CDO、燕麦CDO、仕佳光子CDO、康拓CDO、诺禾致源CDO、青云CDO、之江CDO、财富趋势CDO、欧林CDO、微芯CDO、瑞华泰CDO、深科达CDO、艾隆CDO等
国家发展改革委进一步发挥高技术产业引领作用张楠今年以来,在党中央国务院一系列稳增长政策支持下,高技术产业克服困难挑战实现较快发展,对稳增长调结构发挥了更加积极的带动作用。今年111月,我国高技术制造业增加值同比增长8。0,
进行自煤体写作用哪些软件小说写作可以用幕布,橙瓜码字,纯纯孕作这三个。文章类可用印象笔记,有道云笔记,讯飞语记,它们都可以同步到云端。写自媒体,小说灵感等,也是以讯飞语记为主。视频加载中文字输入类,用手打
非消化道手术的肿瘤患者手术后应该怎么吃?手术治疗疾病的同时,对机体会造成一定的损伤,它的损伤程度与手术大小部位深浅和患者的身体素质有关。手术会引起失血,术后可能出现发热感染代谢紊乱食欲减退消化吸收功能下降大便干燥等症状。
晨酒晚茶黎明色,违逆规律岂能安?喝酒饮茶是华夏土地上孕育出来的特有文化,深受人们的喜爱。喜爱归喜爱,喜爱也需要节制,不仅要在频率上节制,更要在时辰上把握。所谓晨酒不难理解,就是早晨的酒,这里指的是早晨喝酒。早晨是
老年糖尿病患者吃碳水化合物就出现血糖猛升怎么办?碳水化合物是我们能量供应的主要来源,糖尿病患者碳水化合物的供能应当占总能量的5055。部分老年人由于多年形成的饮食习惯,饮食中碳水化合物占比高,尤其是早餐时,如馒头面包面条粥少量的
肾虚一分,身体虚七分,中老年人应注意保养的自己肾在男科科待了30多年,接手过很多伤精肾虚类型的患者,但是有一张老方子,我延用了十多年,此方由明代著名医家张景岳的大补元煎化裁而来,经过多年临床验证,疗效确切,现在分享给大家。何谓伤
阳事不举,通补并济,一月收功,试问保健品真的能带来健康吗?近几年来,国内外各种保健品大行其道,国人亦相信保健品,认为吃保健品能让自己健康起来。却不知健康不是保健品可以补出来的,甚至可能起相反作用。健康源自阴阳平衡脏腑调和气血充足经络通畅神
阳过之后,正确的生活方式帮助你快速回归日常生活现在大家都有一种感觉,整个朋友圈的人都阳过了,所以如何安然渡过阳过后刚刚康复的日子,确保身体恢复原来的状态?今天和大家聊一聊,阳过之后几点生活方式建议。一摄入营养丰富且清淡的食物,
糖尿病人注意身体如果出现这8类症状,很可能是并发症的前兆!第一要注意你的小便如果你最近发现自己晨尿的颜色比较深,接近于咖啡色或者浓茶色。小便时便池里的尿液的泡沫明显增加,而且泡沫好久都不消失。还有发现最近身体有一些水肿等现象,这时候一定要
多喝水导致水中毒?专家提醒如何正确补水阳了就要多喝水,这是大家近期的治阳大妙招。还有日常被吐槽的关心口头禅喝点热水,也都与喝水有关。可见,多喝水的好习惯深入人心。然而,喝水也是有讲究的,否则可能适得其反,引发其他问题。
李铁案内情曝光!买卖国脚名额非铁子专利,媒体人点名某中超队近日,李铁案又曝光了所谓的内部消息,媒体人冉雄飞,在个人社交媒体上再次爆料涉及李铁案的一些所谓的黑料。在说到李铁涉嫌操控买卖国足名额,获取利益的问题上,冉雄飞表示这种做法早有先例,