DAP数据治理分析说明

　　DAP数据分析平台主要是为了满足企业数据分析的需要而开发的一款产品，不同于一般的BI平台，DAP数据分析平台更侧重数据的聚合，平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合，从而实现企业业务数据的统一，构建企业统一的、标准的、完整的数据仓库，而数据展现、数据分析、数据报表，以及外部系统数据交互提供支持。
　　本文将介绍如何在我们的DAP数据分析平台进行数据治理的过程，主要介绍如何在DAP中实现数据从业务系统到数仓这一过程，并在组件刷新中体现这一数据治理的过程。整体概述
　　DAP数据分析平台是一款专门用于企业大数据平台构建的产品，它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现，能够有效的帮助企业清晰的分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力。
　　1.产品体系
　　公司的产品可以通过不同的组合来解决不同的问题，帮助企业范围内建立起了一整套统一、规范的IT架构标准体系，包括数据规范、服务规范、流程规范、界面规范、接口规范等，彻底解决了当前面临的信息孤岛问题，有利于提高效率和降低成本。下面介绍一些我们公司的产品体系，如下：
　　我们公司的所有产品都是通过K8S云平台进行部署搭建产品环境，通过不同产品间的＂化学反应＂来解决不同的信息化问题，帮助企业建设统一规范的IT架构标准。
　　2.产品介绍
　　DAP数据分析平台,数据分析平台将企业的数据进行治理分析，并且通过图形组件呈现出来，充分将企业的数据利用起来，发挥数据的最大价值，为企业决策者提供直观的展示效果，从而获得更大的商业价值。在DAP数据分析平台中预置了丰富的组件，饼状图、条形图、散点图、折线图等满足企业的真实所需。它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现，能够有效的帮助企业清晰的分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力。
　　3.功能说明
　　关于DAP中的数据治理过程主要说的就是数据从业务系统到ODS再到数仓最后形成相应的数据集立方体的过程，具体过程如图：
　　本次主要是通过实现DAP数据治理介绍一下本次DAP功能完善的功能使用，以及相应的注意事项，最后我们会通过给组件配置相应的数据集或立方体，在大屏中刷新组件更新数据来展示一下DAP数据治理的过程。ODS介绍
　　接下来我们按照上节中的图片来介绍本次的数仓功能改造，首先我们介绍一下ODS的功能改造，由于该功能在前次的文档中有多介绍这里简单的介绍一下，并介绍一下近期的新的改造需求。
　　1.功能说明
　　接下来我们对该功能完善后的样式进行介绍，首先源库读取，页面如下：
　　源库读取我们直接选择要读取的库选择要读取的表，我们可以自行选择要读取的字段信息，并且在此在字段页面添加字段的时候我们只能添加原表中的其他字段信息。这里页面相似的有参考数据创建和手动创建，三种的区别在与参考表创建只能在ODS库中选择表，而手动创建的区别在与选择完字段后，二次添加的时候是自定义的字段而不是在原表中进行读取的。
　　下面介绍SQL创建，SQL创建存在两种，一种是SQL创建、一种是参考SQL创建，这里区别就是两种SQL的书写形式正常的SQL创建只是create语句，而参考SQL创建直接读取而一张表进行创建，当然这里既然如此读法，当然是已经创建了表因此是否创建表字段直接为是，具体页面样式如下：
　　输入正确的SQL进入编辑状态，DDL标签下的SQL进入不可编辑状态再次添加就和上面的情况类似，这里就不再说明了。
　　2.常见问题
　　本次我们主要分两个方面来介绍常见的问题，分别是在制作过程中遇到的研发问题，以及通常在大家使用的时候出现的使用问题。
　　首先，我们来介绍一下完善过程中发现的问题，并对不同的问题给出相应的解决办法。
　　第一，关于如何处理我们在选中表后的字段回写，这里我们采用了在页面上做标记的方法，并在选择的时候调用该标记，判断是否已经加过该字段，再次调价的时候便不会出现被选择的字段，如下：
　　第二，关于如何处理SQL创建的两种方式，这里我们采取截取的方式判断，首先无论是SQL创建还是参考SQL的创建都是create语句并且create位于第一位，我们第一就是校验该语句时候为create在确定是后，接下来通过截取相应的数据将数据存储下来即可，如下：
　　至于参考SQL由于其自身的特殊性，我们只需要执行以下SQL，再通过jdbc查询表中的相应数据即可。
　　操作的过程中我们需要注意，源库读取时在原来的库中读取一条数据是不能创建表的也就是要实现我们的治理过程是没用的，实现我们必须要在ODS中创建表，才能结合ESB将数据从ODS运达数仓。
　　3.治理结果
　　下面我们介绍一些进行ODS配置后，到目前阶段应该出现的效果，我们创建完相应的ODS数据点击创建表后，我们在数据库中的ODS库中可以找到相应创建的表，为后续在业务系统中读取数据存入ODS表做准备，具体如图：
　　我们可以再具体的ODS库中找到我们刚才创建的数据库，还为接下来选择事实表，维表的创建选择事实表维表的来源表做准备。数仓配置
　　下面我们对本次数仓改造过程中的新增功能进行下说明，并指出制作过程中的常见问题以及解决办法。
　　1.功能说明
　　首先，首页的上方查询栏的四个条件包含了与数据源头完善相关的数据，因此在这里我们需要处理一下，因为维表、事实表都存储在数仓中，因此我们调整资源数据库未对应的数仓类型数据库即可，如下：
　　这里简单来说即使在数据源头配置中被设置为EDW类型的数据库，如下：
　　接下来明细页面，首先我们过滤掉已经不再使用的表中的相关数据，并且添加了选择来源表的功能，如下（新增样式）：
　　图中就是本次改造的过程中新增的数据，这里维表的来源表就是ODS表因此点击选择表会进入相应的ODS表选择页面，选中相应的ODS表后，便可回写到前端页面上，如下：
　　之后填完对应的数据后，这里为了限制维表必须选择来源表添加对应限制，当选择来源表后点击保存，为了更加的人性化我们直接弹窗提示是否为已经选择的表添加相应的关联关系，如下：
　　选择ok进入点击页面，下面我们就可以为两表的字段设置相应的关联关系，之后，点击确定录入相应的关联关系。并且首页的状态调整为编辑样式，如下：
　　我们可以在编辑状态下的明细页面找到我们配置的关联关系。如下：
　　接下来我们可以点击数据预览这样，我们就可以将自己配置的关联关系的两张表，通过关系拼接成一个SQL语句，并且可在该页面内设置相应的SQL语句条数，如下：
　　之后点击数据预览，上方会出现一个全新的标签，点击切换到数据展示页面，我们就可以看到我们拼接的SQL读出的数据了，如下：
　　除此之外就是字段相关的功能改造，因为我们在明细页面选择了来源表，因此在字段信息页面的倒入字段功能中，仅可以在你选择的来源表中倒入字段，具体样式如下：
　　这里表名的下拉选中只有我们上文中选中的表名称，如下：
　　选中后便会出现该表中的相应字段，在选择后再次进入后已选择的字段将不会再次选择，同时在字段信息页面中存在删除功能，当我们删除了通过导入字段功能导入的字段，该字段便会复原在原来的表格中，如下：
　　上图中的CODE字段被选择又在页面种执行了删除操作，便出现了上方第二张图的场景。以上便是维表改造的所有功能。
　　接下来，事实表存在相关的主题分组，因此我们在进行编码命名的时候不能只有死的前缀还需要增加主题分组编码，具体样式如下：
　　下面来到明细页面，页面中的数据改造与维表相似，但这里来源表的选择规则不同，事实表会根据不同的类型进行选择相应的来源表，首先作为汇总事实表可选择的来源表包含基础事实表、维表、ODS，而基础事实表只能选择维表、ODS，因此我们需要根据不同的类型切换展示表中的数据，如下：
　　除此之外与维表的改造操作类似，下面是关联关系，这里我们选择三种不同的表，因此这里需要设计到跨库的查询，这里事实表、维表、ODS前两者同后者的数据库定不会相同。初次特殊外其余与上文中维表的操作几乎一致，这里就不再过多赘述了，接下来时字段的改造，这里主要设计如何在代码中区分三种不同的表，这里我们可以根据选择不同的表id带入三种表相关的查询中，然后判断哪个不为空，那么该id就是哪表类型下的表id，方便我们对在三种不同的表中进行相应的的字段查找。
　　上面便是事实表改造的相应功能，下面我们对该过程中的注意事项进行相应的说明。
　　2.常见问题
　　首先，我们明细页面中维表名称的命名规范限制，这里我们采用两个inpu标签，一个可编辑一个不可编辑，不可编辑的标签便是维表命名中所需要的前缀，我们可以再可编辑的标签内输入相应的名字，最终数据会以＂DIM_＂为前缀进行存储。这里我们需要注意的就是该操作下需要去改变的位置，读取数据和保存数据的方法，其余在数据库中直接读取数据的方法均可不变。调整位置如下：
　　就是单纯的读取两个标签的数据进行拼接，这里也不再多说了，下面比较有难度的就是我们拼接关联关系SQL的位置，这里主要是如何读取和拼接，与其说难更不如说是复杂，代码量偏多，这里我们需要有个较为清楚的逻辑，我们两表拼接的几种逻辑，首先如果存在t1,t2,t3,t4,四表的时候当我们配置的关联关系顺序为t1 t2 与 t3 t4 这两个关系在前面时我们就不能拼接成相应的SQL语句，需要对相应的排序进行调整。
　　最后，在展示数据的时候我们需要注意在jqGrid中的数据传递，这里除了相应的数据需要传递正确外其余的page、total等也要传递正确，否者会造成表格无法翻页的情况，如下：
　　接下来说事实表，注意明细页面的事实表编码与维表虽相似，但维表的前缀是死的，而事实表带有主题编码因此是不定长的，这里需要注意页面上的相应设计。而在后台进行的操作基本一致，只是多了查找主题编码这一项操作。
　　然后是上节中我们说到的关系跨库查询，这里我们采取在表的前面添加库名的方式来达到跨库查询如下：
　　之后就是我们在选择表的时候如何控制，表中的类型，这里还算相对比较简单，我们的明细页面中本身就存在类型属性，只需要将他作为参数闯入相应的弹窗页面即可。但这里涉及到一个问题，如果为空便不能正常显示数据，这里解决办法有很多，例如去除下拉框中的空值，或在对应的弹窗中进行校验提示等......
　　最后就是我们在上节中说到的因为维表设计的类型较多，再取字段的时候需要涉及的操作较多，不妨我们并在一起，一个id三查询同查非空的便是我们要寻中的表类型。
　　上述是研发过程中的问题，接下来我们说说使用过程的注意事项。首先确保ODS库中你创建的数据要与DAP中ODS表中录取的数据编码一致，否则这里面涉及到SQL相关的问题将会出现错误，接下来我们需要注意我们要在模型中对自己创建的维表事实表进行相应的关联操作，才能在后续的治理过程中起到相应的效果。
　　3.治理结果
　　在进行完数仓配置后，我们建立的维表、事实表均可以在对应的数仓数据库中找到，用来完成最后ODS到数仓的过程，具体位置如下：
　　配置完数仓，我们就把整个从业务系统到ODS在到数仓这一过程中所有的＂存储点＂都建立了起来，接下来我们需要配合ESB的流程来让整个过程＂动起来＂。数据通过流程从我们创建的表中进行分发。数据调度
　　上面我们已经实现了业务系统到ODS到数仓这一过程，下面我们通过调度将这一过程变成现实，我们下面讲解下ESB的流程配置。
　　1.ODS流程
　　首先如何创建一个ODS流程，在ESB设计器中新建调度流程，选择http请求响应消息流程，之后选择业务源数据同步，点击next，点击刷新就会出现业务系统到ODS的调度流程。具体如下：
　　选择对应流程后就会生成相对应的数据调度流程，接下来我们需要找到我们需要修改的节点，一个同步时间、一个读取、一个插入三个节点我们需要进行手动操作，如下：
　　首先需要调整的就是数据源，需要调整为对应的库，业务系统选择业务系统库，ODS选择ODS库，如下：
　　接下来选择唯一字段为该表id，并配置相应的映射关系，插入字段节点道理相同配置好相对的映射关系即可，以上是在ODS中调度选择对比字段的相应调整，下面是选择时间戳的对应样式，我们可以看到流程中会出现相应的变化，如下：
　　这里我们需要在查询源数据记录节点配置对应的SQL语句，其他的操作与对比字段模式相同，就不再重复说明了。以上是两种不同ODS调度的调度流程以及相关配置。
　　流程创建结束后我们可以看到在DAP的调度资源界面可以看到创建的流程信息，如下：
　　2.维度流程
　　下面我们介绍一下维表的流程创建，在ESB设计器中新建调度流程，选择http请求响应消息流程，之后选择维度表加工处理，点击next，点击刷新就会出现业务系统到ODS的调度流程。具体如下：
　　接下来就会生成维表相关的流程，具体的流程央视如下：
　　这里我们需要修改上面上个节点，同样的道理时间节点需要调整数据源、查询汇总数据节点需要调整数据源，调整对应的SQL、调整映射、数据插入节点需要配置唯一字段和映射。
　　流程创建结束后我们可以看到在DAP的调度资源界面可以看到创建的流程信息，如下：
　　3.事实流程
　　接下来我们来介绍一下事实表的流程创建，在ESB设计器中新建调度流程，选择http请求响应消息流程，之后选择事实表加工汇总，点击next，点击刷新就会出现ODS到事实表的调度流程。
　　接下来就会出现相对应的事实表流程，样式如下：
　　这里我们需要修改上面上个节点，同样的道理时间节点需要调整数据源、查询汇总数据节点需要调整数据源，调整对应的SQL、调整映射、数据插入节点需要配置唯一字段和映射。
　　流程创建结束后我们可以看到在DAP的调度资源界面可以看到创建的流程信息，如下：
　　4.调度任务
　　在上面三个小节中我们介绍了如何在ESB中创建DAP的调度资源，在完成调度资源的创建通常我们需要把多个调度资源形成调度任务供后续的数据治理使用，形成调度任务的功能我们可以在DAP的调度任务中实现，具体的样式如下：
　　添加的方式通常为快速添加和添加资源，这里快速添加时通过模型关联的调度直接添加相应的资源，不过需要在模型功能下生成任务后的模型才能进行快速添加，而添加资源就是手动的在调度资源中添加对应的资源。添加结束后，如上我们还支持设置任务的触发类型，配置结束后就能看到生成的调度任务。分析模型
　　在这一步前我们需要在DAP中创建相应的调度资源和调度任务，因为在此之前整个业务系统到ODS到数仓的过程就都结束了，而要实现这一过程需要相应的调度，接下来我们开始对分析模型模块的改造进行介绍。
　　1.功能说明
　　首先，我们进入数据集或立方体的新增页面我们可以看到其明细页面多添加了一个条件配置标签，具体的样式如下：
　　进入添加配置我们可以看到上面是对条件进行配置的下面是对排序进行配置的，我们选择新增可以下最上面的一条中看到该数据集所选择表的所有字段信息，选择字段后可以在下面配置条件，等于、非空等，下面是数据的值，以及对数据参数化，因为我们直接形成json我们的key值会是字段的形式，我们可以让自己在页面上形成的json更加美观成驼峰形式，而在排序中我们可以选择是升序还是降序，具体样式如下：
　　配置结束后，我们可以再首页对配置完成的数据进行预览，具体样式如下：
　　2.注意事项
　　这里主要的问题就是在于SQL的拼接，如何在配置完成条件和排序后能在SQL中将他们无误的插入进行形成正确的SQL。除此之外在接口中，若我们采用的是参数化的编码我们就需要对数据进行判断将其在SQL中进行复原，参数化的编码是无法在SQL中实现正常的效果的。其次首页的数据预览功能我们需要进行空判断，如果不为空很有可能在最后拼装jqGrid的json数据时报错。
　　3.治理结果
　　在上面的过程都配置结束后我们需要对本次数据治理的结果进行展示，那么我们对创建的流程在相应的组件上面进行使用，来展示一下我们数据调度功能起到的作用，我们在DAP的大屏中通过组件的刷新可以来感受一下从业务系统到数仓的数据变化。首先我们来介绍一下该过程的配置，首先我们创建使用的ODS表，在表中添加相应的数据，然后我们在维表或是事实表中创建使用的维表、事实表，并在明细页面的来源表中选择我们刚刚创建的ODS表，如下：
　　接下来我们在模型中将上面的过程配置到一个模型上，方便我们在调度任务中快速的通过模型拉取相应已创建的调度资源，如下：
　　接下来我们就可以通过上文介绍的创建流程的方式进行流程的创建，创建后我们可以通过调度任务中的快速添加通过模型加入资源，如下：
　　接下来我们在数据集和立方体选择相应的数据集、立方体关联我们在上面创建的模型并选择相应的字段，具体如下：
　　接下来我们可以再相应的导航管理配置页面的组件上，选择已经配置好的的数据集或是立方体，到此整个调用的过程就配置结束了。下面是组件配置数据集或是立方体的页面，如下：
　　记下来，展示相应的效果，我们通过DAP的导航管理功能进入相应的大屏页面，如下：
　　同步结束后数据就会同业务系统的数据表中保持一致，如图:
　　统计分析
　　在上面一套数据治理过程执行一遍后，我们可以将整个过程展示在用户面前，让大家对本次数据治理的流程更加了解。
　　1.血缘分析
　　在完成一次数据治理后我们想看本次治理从应用系统到页面的关系我们可以从DAP的统计分析模块中的血缘分析实现，这里我们支持从应用系统出发，或是从维表、事实表出发的关系图。我们可以根据血缘分析提供的提示，在表格中找到想要看的数据，如下：
　　接下来选择你要了解的关系双击下方的表格，进入引用关系图，即从应用系统出发都引用了什么，或是维表、事实表出发，都引用了那些，如下：
　　2.影响分析
　　在完成一次数据治理后我们想看本次治理从页面到应用系统的关系我们可以从DAP的统计分析模块中的影响分析分析实现，这里我们支持查看从页面、立方体出发到应用系统的关联关系。我们可以根据影响分析分析提供的提示，在表格中找到想要看的数据，如下：
　　接下来选择你要了解的关系双击下方的表格，进入来源关系图，即从页面出发，都哪些组件引用了该页面，会从立方体出发都哪些组件引用了该页面，如下：
　　3.数据地图
　　最后DAP的统计分析模块提供的数据地图功能可以看所有分组下各组件的管理关系，我们在上述的治理过程中相关的配置也可以在该功能下进行预览，相应的分组下，我们可以可以看到各组件的个数。如下：
　　接下来，选中对应的组件组件明细页面，页面会出现相应的组件明细，具体样式如下：
　　双击选中的数据或点击上方查看引用，会进入到相应的关系图界面，首页前两列是关系引用图，首页最后一列显示的是关系来源图。心得总结
　　在学习DAP数据治理的过程中，也是自己在不断地完善产品的过程，接下来我们还需要对这一过程不断地加强完善让我们的产品不断的强大起来。同时在学习的过程中自己也有很多心得体会。
　　1.提升补强
　　首先，自己在学习数据治理过程花费了大量的时间，主要原因是对自己负责的产品掌握得还不是很彻底，对产品的功能没有一个直观的认识。今后要提升自己对产品的了解程度，对自己负责的产品要有一个认真负责的态度，既然负责了就要全面的了解其每一个功能。同时提升自己对所有产品的认知度，比如在该过程中存在的ESB，很多情况下当ESB和DAP同时出现问题的时候显得办法不多，当解决的时候更多时候发现是自己对ESB了解不足，要在日后的工作中培养自己的全局意识，不能仅仅局限于自己的产品。
　　2.研发经验
　　上面是在学习DAP数据治理的过程中，发现的自己的一些不足的地方，接下来说说在研发方面发现的一些不足。主要是在于编程的思路局限，有些地方很难用最好的办法解决，总结来说一是工作经验上的不足，这就需要在接下来的工作中认真面对每一次的研发工作，吸收其中的经验不断成长；其二就是自身的知识积累还不是很充分，还需要更多的知识充实自己的编码方式，让自己能做出更高效的代码。
　　3.心得总结
　　在本次的研发中，发现了自己很多有待提升的地方，在接下来的工作生涯中，多多提升自己，知识储备量要有大幅度的提升，才能更好的完成工作。同时珍惜每一次功能研发带来的经验，拓展自己的编程思维，不要固化在最基础的层面，不断完善自己的代码能力，让自己成为一位高质量、高性能的代码产出者。同时在自己的私下时间，花更多的时间去学习公司的产品以及相应的封装方法，作为一名合格的研发人员，要高效利用手中的资源。
　　在今后的研发生活中，不断完善自己，在每一个的研发过程中都付出足够的努力，吸收经验、弥补不足，争取早日成为自己团队可以依靠的力量，让自己成为团队和公司中的骨干力量。
　　本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~