数据开发技术方向主要有数据仓库、在线分析处理(OLAP)以及数据挖掘三部分组成。 一、数据仓库:架构 1。数据仓库DataWarehouse,DW 数据仓库是构建面向分析的集成化数据环境,为企业提供决策支持(DecisionSupport)。它出于分析性报告和决策支持目的而创建。 2。数据集市 数据集市DataMart,DM 操作集市OperMart 3。ODS操作数据存储OperationalDataStorage,ODS 4。ETLExtractTransformLoad 一、数据仓库:抽象 1。主题 主题Subject 主题域SubjectArea 2。主体 3。模型 模型Model 数据模型DataModel 业务数据模型BusinessDataModel 逻辑数据模型LogicalDataModel,LDM 物理数据模型PhysicalDataModel,PDM 实体Entity 关系Relatioship 属性Attribute 实体关系EntityRelationship,ER 事实Fact 维度Dimension 维的层次HierarchyofDimension 维的级别LevelofDimension 维的成员LevelofDimension 业务过程BusinessProcess 度量Measure 指标Metric 指示器Indicator 粒度Grain 度量值Measures 一、数据仓库:建模 1。模型查询 即席查询AdHocQueries 冰山查询IcebergQuery 交叉探察DrillAcross 实体建模EntityModeling 范式建模ThirdNormalForm,3NF 维度建模DimensionalModeling、总线架构BusArchitecture、一致性维度ComformedDimension、一致性事实ComformedFact 2。事实表 事实表FactTable 以粒度的不同来化分,事实表可以分为三类,分别是事务粒度事实表,周期快照粒度事实表和累积快照粒度事实表。 事务粒度事实表TransactionGrainFactTable 周期快照粒度事实表PeriodicSnapshotGrainFactTable 累积快照粒度事实表AccumulatingSnapshotGrainFactTable 以用途的不同来化分,事实表可以分为三类,分别是原子事实表,聚集事实表和合并事实表。 原子事实表AtomFactTable 聚集事实表AggregatedFactTable 合并事实表ConsolidatedMergedFactTable 其他类型事实表 非事实型事实表FactlessFactTable 蜈蚣事实表CentipedeFactTable 旋转事实表PivotedFactTable 切片事实表SlicedFactTable 稀疏事实表SparseFacts 3。维度表 维度表DimensionTable 代理关键字SurrogateKey 缓慢变化维度SlowlyChangingDimensionSCD 退化维度DegenerateDimension 微型维度Minidimension 多值维度MultivalueDimension 角色模仿维度RolePlayingDimensions 杂项维度JunkDimension 4。宽表 宽表Widetable 在维度建模的基础上又分为三种模型:星型模型、雪花模型、星座模型。 星型模式:星型模式StarSchema 雪花模式:雪花模式SnowflakeSchema 星座模式:事实星座模式FactConstellation或星系模式galaxyschema 5。数据分析BI 商业智能BusinessIntelligenceBI OLTP 联机事务处理OnlineTransactionProcessing,OLTP OLAP 大规模并行计算框架MassivelyParallelProcessing,MPP 联机分析处理OLAPOnlineAnalyticalProcessing,OLAP MOLAP ROLAP HOLAP 6。多维分析 多维分析MultidimensionalAnalvsis 立方体Cube 钻取DrillDown 上卷RollUp 切片Slice 切块(Dice 旋转Pivot 二、数据挖掘:机器学习 机器学习MachineLearning 标签Lable 特征Feature 样本Example 模型Model 策略Strategy 算法Algorithm 监督学习SupervisedLearning 回归Regression 分类Classification 无监督学习UnsupervisedLearning 三、深度学习 深度学习DeepLearning