制造行业主数据治理集成

　　主数据是描述企业核心业务实体的数据，是企业核心业务的主要构成，是各订单、合同以及业务的主体在企业内部被重复、共享应用的数据。主数据跨越企业各个业务部门以及各类业务系统，是应用系统间数据交互的基础。
　　近期一直北方某制造业进行主数据治理工作，谈到制造行业主数据除了基础的组织、人员、岗位、客商外，总是离不开物料、BOM以及物料分组，其中生产类的主数据是数据治理的核心内容，也是重点内容。经过对生产类数据长期的调研以及学习理解，对生产主数据有了自己的见解，本文以物料分组主数据为例对某类主数据的模型创建到同步的标准过程进行梳理。总体说明
　　主数据治理项目前期主要根据企业的特点对企业的集成架构、数据架构、系统架构、功能架构以及核心业务进行调研，在这其中对企业的整体架构以及项目的相关方进行了解，从而分析出企业现有的主数据类型等，现从主数据治理项目的业务架构、集成架构、数据架构等方面总结如下。
　　1.业务说明
　　本文以制造业特有的主数据物料和物料分组为例对其整体业务进行说明：
　　1.生产层：物料主数据源头系统为PLM系统，其主要作用是实现产品全生命周期的数据管理，管理产品相关的全部数据包括组成零件、设计图纸、工程图纸、工艺文件、产品文件、材料等，物料主数据在其中实际上为零件的核心组成部分，对企业内部的原材料、制造零件、外购件、标准件等进行数据层面的统一管理。
　　2.中间层：上文可知PLM系统为物料的主要源头，而ERP系统、MES系统均需要物料的数据，而主数据的核心功能便是对企业内部基础数据进行管理，保证源头系统及下游系统数据的一致性、完整性，中间层就是通过多维度建模实现对基础数据的全方位管控。
　　3.消费层：数据的生产层更多的是对数据层面的管理，而消费层则是通过中间层主数据将分发过来的数据进行企业业务管理，依旧以物料为例，包括物料的采购、库存、生产等业务的使用。
　　物料主数据通过主数据的数据统一同步、清洗、管理、分发，保证企业内部的一致性、共享性及完整性，实现企业内部数据的单一视图。
　　2.数据架构
　　主数据治理项目整体数据架构是从各应用系统获取数据信息，在主数据管理平台对元数据信息进行统一管理，具体包括元数据信息的采集、定义、变更等，在数据分析时可以根据元数据信息进行数据血缘分析、影响分析等，基于元数据进行主数据建模部署后实现基础数据信息的管理，保证全集团公司数据具有高度共享性、一致性、完整性、高数据维度统一。
　　数据架构图如图所示：
　　如数据架构图所示，是从数据源头系统获取组织、人员、岗位、客户、供应商等基础数据信息，通过ESB企业服务总线将数据同步至MDM主数据管理平台中，在主数据管理平台进行数据模型的创建、数据编码的定制以及数据质量的管理等等，最后将干净的数据分发至有需求的各业务系统中。
　　3.集成架构
　　主数据治理项目是将企业的主数据，如组织、人员、岗位、客户、供应商、产品、项目等数据信息进行共享，提高数据特征的一致性、识别唯一性、高度共享性及长期有效性，从而获得＂单一的基础数据来源＂，避免提供的数据有误，造成大量定制视图或者统计报表计算逻辑错误，导致流程监控出错等一系列问题，为企业运营管理过程中深度应用集成、业务流程再造、业务升级创新提供准确的数据支撑。
　　基础数据治理方案集成架构图如图所示：
　　ESB企业服务总线主要作为数据交换平台，支持应用间批量数据交换和数据库间的数据交互，包括数据的抽取、转换和导入操作。不需要向不同的业务系统请求主数据的获取、同步，只需要通过ESB进行数据分发、下发等操作即可获取这些数据，帮助完成企业数据整合和加速数据中心建设。主数据管理
　　在MDM主数据管理平台实现对物料分组主数据的管理首先需要调研该类主数据的源头系统，然后输出调研结果《物料分组元数据及参考数据调研清单》。之后根据元数据调研清单创建数据模型、功能模型，实现对物料分组主数据的管理、维护。
　　1.字段调研
　　在字段调研之前首先需要了解企业各类业务系统，与客户沟通明确物料分组主数据源头，接下来在对应业务系统中了解物料三级分类数据全生命周期，明确源系统物料分组的数据状态、数据是否存在版本、物料分组字段信息及枚举类数据信息等，最终经过调研输出《物料分组元数据及参考数据信息》。
　　元数据字段信息如图所示：
　　参考数据字段信息如图所示：
　　2.数据建模
　　根据元数据及参考数据调研结果在MDM主数据管理平台创建数据模型，数据模型分为数据建模、功能建模以及流程建模。在数据建模创建物料分组主数据，如图所示：
　　然后配置对应元数据的字段信息，如图所示：
　　在数据建模时需要注意要预留源系统主键ID、父节点ID、父编码信息字段，为后续企业做数据分析做准备，同时也要预留冗余字段，防止源业务系统增加字段，然后保存并生成表结构，直接提交至功能建模即可，如图所示：
　　3.功能建模
　　功能建模主要是对物料分组管理维护页面进行配置，包括字段widget组件定义等，如图所示：
　　然后切换到表单信息页面，初始化表单，调整管理维护页面（列表页面、表单页面），如图所示：
　　调整表单查询条件或者列表显示字段，如图所示：
　　调整过后解析SQL，完成配置，如图所示：
　　部署之后可以在MDM平台查看部署效果。
　　4.效果展示
　　物料分组主数据列表页面如图所示：
　　列表页面如图所示：
　　主数据集成
　　ESB企业服务总线应用集成部分首先需要将各业务系统提供的服务在ESB企业服务总线中进行注册，之后配置接口的入参及出参信息，在场景配置模块进行对接，定义触发机制及预警机制等。
　　1.服务注册
　　主数据治理项目按照主数据类别可分为组织人事类、客商类、制造类、地产类、财务类、知识类等等，在服务分组内定义分组模块，如图所示：
　　然后在对应分组下注册各业务系统提供的服务，如图所示：
　　并且在来源系统及目标系统接口配置入参及出参，如图所示：
　　2.集成配置
　　单据对接实际上是在原有服务注册的基础上配置集成场景，选择单据的源头系统及目标系统，且配置源数据提供服务及目标数据接收服务，其触发机制有三种方案：首先是＂推＂的方案，在其它业务系统数据发布确认时绑定接口，接口获取表单全部数据，将完整的表单数据传给数据同步接口；其次是＂推拉＂的方式，依旧是在业务系统数据发布或者变更时由业务推给同步流程一个编码，在流程内在通过编码对业务系统数据进行排查；如果业务系统无法进行二开，就需要由ESB拉取数据，也是＂拉＂的方式，在调研时需要与业务系统厂商对接确定方案。＂推＂、＂推拉＂的方式一般都是拉取一条数据，所以这时就需要另外开发一个数据初始化流程，将数据全量拉取到主数据管理平台内，如图所示：
　　最后配置单据的字段映射完成应用集成场景的配置，如图所示：
　　同时ESB企业服务总线内置了四种错误预警机制，当重试次数达到峰值时，可以以邮件、短信、微信以及流程的方式进行预警提醒。
　　3.集成流程
　　单据对接完成后配置提交集成流程，如图所示：
　　提交后在集成流程内进行统一管理，配置其定时策略等，如图所示：
　　流程调整
　　在提交集成流程后在ESB设计器内要对集成流程进行二次开发，根据物料分组的实际业务需要，要开发物料初始化流程、数据同步流程及数据分发流程，使用集成开发可以在ESB管理控制台内对执行结果进行监控统计，并且能进行流程的定时设置、预警机制配置等，流程具体调整内容如下。
　　1.批量同步
　　首先打开ESB设计器，创建应用集成流程，如图所示：
　　点击下一步，会检索到刚刚我们配置提交的流程场景，如图所示：
　　在选择集成流程后需要对流程进行二次调整，调整完成整体流程如图所示：
　　首先在初始化操作定义appCode及appPwd，通过Http调用组件调用PLM数据获取服务，数据获取后将数据进行二次封装得到一个XML，接下来将XML进行DataSet数据转换，定义index索引值为0，通过appCode和appPwd获取tokenID，通过dataSet.size()获取count最大索引值，之后将数据转换成Json，调用MDM数据接口将数据插入到主数据内，最后根据index索引进行循环判断，如果index>=count则退出循环反之则继续循环插入，最后写入应用集成日志，在变更流程父节点完成集成流程。
　　2.实时同步
　　数据同步同样使用ESB应用集成创建，调整后整体流程如图所示：
　　同步流程需要改造源系统，在数据增、删、改时调用同步接口，首先在HttpRequest节点内获取源系统传递的唯一值，根据编码值获取PLM系统提供的物料分组完整的数据（JSON），然后根据ESB全局变量的中的appCode和appPwd获取MDM的tokenId，然后转换数据格式，再对MDM特有数据进行二次封装，并将DataRow转换为MDM需要的JSON格式，之后调用MDM OpenAPI提供的接口将数据写入MDM中，并对其父节点进行处理，写入MDM日志信息完成数据实时同步。
　　3.效果展示
　　效果展示以数据初始化为例，在ESB企业服务总线，调用物料分组同步应用集成流程，如图所示：
　　点击调用按钮，在ESB后台执行初始化流程，如图所示：
　　主数据展示如图所示：
　　心得体会
　　通过本次主数据同步、分发以及数据初始化操作让我对主数据治理方案有了更深入的了解，也为后续主数据治理项目做了铺垫，在实际项目实施与产品开发完善过程中暴露了自身诸多问题，现从企业运营、经验积累以及产品开发心层面总结如下。
　　1.经验积累
　　通过近期装备制造业的实施工作，让我对主数据治理项目有了更进一步的了解，让我清晰地认识到了主数据治理项目及企业应用集成的重点，主数据治理项目的实施同其它行业一样实施难点在于对业务不够了解，只有吃透企业的整体运营模式后，才能对主数据治理及企业应用集成实施做到得心应手。
　　2.企业运营
　　通过近期的项目实施工作使我发现近些年来企业IT信息部门的角色转变。在国内很长的一段时间内IT部门一直作为企业的支持性部门，但是随着企业的不断发展，信息化系统的不断增多，IT部门已经成为了企业内外部沟通，连接客户、合作伙伴的重要通道，是企业日常运营的重要支撑部门，也意味着IT信息部门承担着更大的责任。所以在企业信息化不断发展的过程中，对于信息部门人员素质要求也随之增高，以便在瞬息万变的数字化市场环境下，迅速为公司、客户创造价值。
　　3.产品心得
　　通过近期对生产制造企业业务部门的调研使自身在业务方面有了更多的理解和提升，我认为数通畅联的主数据管理平台立足于服务系统，为各业务系统提供基础的数据支撑，而在调研过程中往往会遇到客户提出的各种各样的需求，其中让我清晰地认识到无论是OA系统还是我们的主数据管理平台都是实现业务的虚拟化载体，技术最终的价值在于帮助客户解决业务问题，当真正帮助客户解决实际问题后，才会源源不断地产生收益。
　　数通畅联作为提供集成产品和解决方案的技术型公司，产品的研发最终指向是解决某个特定业务问题。没有业务，技术的存在就没有意义，二者是密不可分的，渐渐懂得了领导说＂为什么公司更缺少的是业务专家＂这句话的含义。IT技术支撑业务运转、促进业务创新，业务模式呼唤更灵活的技术解决方案，深刻理解IT产品技术、深入掌握业务脉搏的复合性人才是21世纪最稀缺的资源。
　　本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~