数据中台建设内容包括哪几个方面？

　　中台首先是一种战略选择，一种组织形式，其次才是一些有形的产品支撑和实施的方法论。文 | 古明，数据中台专栏写作者
　　由于企事业部门之间的系统分散开发或者些单位系统重建或引进系统开发项目，导致很多单位内部之间的信息不能共享，产生数据与信息孤岛；或者没有统一的数据规范和标准，造成数据整合的不便。数据还仅仅停留在散乱的资源阶段，离数据＂变现＂，形成数据资产的理想阶段，还相距甚远。
　　为解决上述问题，就需要企业自身进行合理有效的数据资源规划，梳理清楚企业自身的＂数据家底＂，从而掌握企业当前数据资源的详实状况，明确企业的数据种类、未来可能获取的数据种类，以及这些数据的数据量、数据质量、数据用途等等。
　　数据资源规划 是数据治理，数据建模，数据资产管理，数据指标体系规范等工作的前置环节和必要条件，因此数据资源规划的作用至关重要，包括数据资源梳理、数据资源规划实施、数据资源可视化、数据资源分析报告四部分内容。
　　数据资源梳理 ：即企业需要梳理清楚：数据来自谁，用在何处，如何存储？一般而言，业内会从三个维度，来对数据资源进行分类管理，数据产生主体、数据来源、存储形式等。
　　数据资源规划实施 ：企业在数据资源规划与获取的过程中，除了需要企业内部提供有效的组织保障，包括数据管理人员、数据分析人员和业务使用人员之间的紧密协作，而且还需要全面的对整个企业或政府部门组织需求分析调研，这样才可有效帮助企业理清数据资源家底，明确数据资源获取与使用的方式方法。
　　数据资源可视化 ：在数据中台理念下，我们所指的数据资源规划和获取一定是企业全局性的考量和行为。＂牵一发而动全身＂这必然会牵扯到各部门和各层级组织架构的利益。
　　数据资源分析报告 ：企业以前对自身数据资源的认识是模糊的，企业需要一份完整详备的数据资源分析报告，指导后续数据治理和数据资产管理平台的建设，最终服务于企业数据应用场景。为了满足客户的这一需求痛点，袋鼠云便将数据资源分析报告作为＂数据资源规划与获取服务＂的交付产出物之一。深度思考、认知升维、跨界连接，欢迎加入#工业互联网研习社#社群
　　（欲加入研习社，欢迎私信咨询）
　　—笔者在知识付费领域的探索，2018年1月1日，造奇智能产业新媒体独家推出、业界首份聚焦工业互联网领域的高质量实名付费社群——[工业互联网研习社]，依托[知识星球]而建。致力于打通工业互联网从资讯 信息 知识 认知 见识 服务的链式通路，助力您的职业发展和机遇把握。这是在工业媒体与知识分享领域的知识付费尝试！
　　—近300位付费研习社社友遍布上海、北京、深圳苏州、杭州、武汉、芜湖等工业重镇，初步构建起覆盖工业互联网平台、工业软件、底层数据采集、工业数据分析、系统集成商、大学及产业资金在内的全国价值网络。
　　从2018年以来，与我们进行数据中台交流的企业不下200个，我们从这么多交流中总结了三个规律，然后深入分析出数据中台建设的十二大问题域，这能够给那些希望建设数据中台的企业以一个问题识别框架，从而更快速准确地建设能够解决问题的数据中台。
　　从200个数据中台交流的发现
　　从2018年以来，数据中台在国内企业数字化转型领域异军突起，今年我们做了一个粗略的统计，找到我们交流数据中台的企业，不下200家，但是，最终落地的项目，却是五花八门，很少有完全一样的。  正如下图所示，不同的企业，找到我们都是从＂我们领导想做数据中台＂这句话开始，但是当我们深入沟通后，发现大家的情况各不相同，有的还没有业务数据，有的已经有了一定的数据，有的正在建设数据仓库，有的数据仓库已经上线使用很多年，然后在不同的情况下，大家要解决的问题也不一样，有的是想搞清楚应该怎么从数据中产生价值，有的是想提升现有数据的质量，有的是现在的数据仓库报表没人用，有的是数据仓库的响应速度比较慢，有的希望做一些人工智能的预测和推荐。
　　我们将这些需求做了分类，然后总结了三个有意思的关键发现：
　　一、行业对于数据中台的期望很高
　　这么多不同的需求，最终都是从＂数据中台＂开始，这说明企业对于数据中台项目的期望很高，将过去对于数据仓库，数据平台的期望都寄托在了＂数据中台＂新的概念上。
　　这个现象对于数据中台的行内人来讲，是一个好事情还是一个坏事情，真是不好说。
　　一方面，我们很高兴，数据中台被企业管理层关注了，他们用这样四个字来表达自己对于企业数据利用的渴望，同时也表示了现在的企业数据利用体系不能够满足他们的要求。
　　另一方面，我们同时感到依稀的惶恐，数据中台绝对不是银弹，它不能解决一切的问题。
　　二、提出要做数据中台的企业，大部分是缺乏清晰的数据战略
　　在我们与很多企业沟通的过程中，我们发现，当我们问到＂你们希望数据中台解决什么问题＂的时候，其实很少有企业能够讲的清楚，但是当我们像剥洋葱一样层层引导的时候，发现他们最终都指向希望将数据利用好，让业务更智能。
　　这是一个企业战略层面的事情，说明大部分想做数据中台的企业，其实都是希望进行数智化转型，但是他们需要的第一件事情，其实是一个清晰的数据战略。
　　通过数据战略，梳理清楚业务需求，数据的利用方向和蓝图，然后制定出中台的实施路径。
　　三、数据中台的建设，要从问题出发
　　参考DDD的通俗说法＂所有不解决问题的方案都是耍流氓＂，数据中台的建设要从问题出发，我们要识别出需要解决的问题，而不是拿着锤子找钉子。很多企业的数据部门就处于这种情况，在过去几年，做了一堆的数据基础架构和工具平台，到处在找场景，找用户。
　　从这次的研究，我们发现，数据中台的建设要从问题出发，必须找到企业关注的问题，只有解决针对性问题的数据中台，才能获得企业的认可。
　　通过研究，我们发现现在目前希望建设数据中台的企业最大的问题就是不知道要解决什么问题，那么如何能够用一种方法论发现和定位问题呢？
　　数据中台建设是一个无序问题
　　每当碰到不知道如何解决的问题的时候我就会想起Cynefin的框架：
　　Cynefin提供了五个决策领域组成的思考框架，用来帮助人们理解和解决世界的各类问题，利用Cynefin框架，将任何一个问题都可以归为以上图的五类之一：
　　简单的（Simple）
　　在＂简单的＂象限中的问题，存在着可预测和可重复的因果关系。它们对任何有理性的人来说都是不言自明的。
　　例如，在建筑领域中，一个简单的项目是建一栋房子，特别是如果项目团队以前已经建了许多类似的房子。他们每次建房子时，都会有一些不同，但是因果关系是很好理解的，如何去建设是有清晰的方法，路径，设计可以参考的。
　　类似地，在IT领域中，搭建一个博客系统，这也是一个简单问题，因为博客系统的功能是清晰的，并且在行业中有对应的博客系统产品，可以直接采用，不需要很多的创新和定制。
　　这个象限中的问题的解决方法是进通过‘感知-分类-应对’，即：找出这个项目的不同之处，对它们进行定位和分类，并针对对这些差异进行相应的应对处理。
　　斯诺登教授认为，在简单的象限的问题是＂最佳实践＂类解决办法的唯一象限。
　　复杂的（Complicated）
　　在 ＂复杂的＂ 象限中，因果关系仍然存在，但它们并非显而易见，需要利用专业知识来分析它们，所以这个领域的问题是需要专家来解决的。
　　对比起简单象限的盖房子问题，建设一座桥梁可能是复杂问题的例子。
　　虽然团队可能已经建造了许多跨过河流或道路的桥梁，但是当他们到一个新的环境的时候，他们仍然需要去面对动态的环境、地形、天气、风速、水流等因素来调整和设计新的方案，桥梁的建设是需要专业的结构工程师分析特定的环境并进行架构设计的。
　　对于复杂问题的解决方法是 ‘感知-分析-应对‘，因为已经没有简单问题的最佳实践答案去被分类和选择了，需要针对问题本身进行分析诊断，从而制定应对策略和解决方法。
　　难解的（Complex）
　　与复杂的问题不同的是，难解的象限的问题虽然也有因果关系，但是这种关系是不可预测的，只有事后才能看清楚。这意味着难解的问题是无法用通过分析，拆解和还原的方法去解决的。比如，造一辆法拉利汽车，是一个复杂问题，因为不管法拉利的零件有多少种，都是可以通过分析，拆解来构建出来的，只是复杂度比较高。而穿越一个没见过的热带雨林，就是一个难解的问题，因为你不知道这个热带雨林里面是什么情况，哪里有沼泽，哪里有陷进，必须通过不断的探索来一步步逼近出口。
　　斯诺登教授认为，应对难解问题的方法是 ‘探索-感知-应对‘，即，进行实验和测试，通过不断的测试，探索来感知问题本身，不断逼近，了解问题的本质，从而制定应对策略。
　　混沌的（Chaotic）
　　除了难解的问题之外，还有一类更加复杂的情况，那就是＂混沌的＂系统。混沌的系统本身是没有因果关系的，所以尝试去寻找关联是徒劳无用的。在混沌的问题面前，领导者需要做的事情是快速采取行动，然后通过行动的反馈来感知问题本身，从而制定对应的解决方案，这也就是斯诺登教授提到的 ‘行动-感知-应对’的方法。
　　无序的（Disorder）
　　除了以上四种问题之外，如果你不知道当前的问题应该归于四个象限中的哪一个，那么，＂无序的＂问题就是起点，需要采集信息，分析信息来确定所在的位置。
　　我们会发现，数据中台的建设有的时候是特别简单的问题，比如，有的企业，沟通完就发现，自己其实需要的是一个大数据平台，从而能够让结构化和非结构化数据都存储和利用起来。
　　有的时候数据中台的建设又是一个复杂的问题，需要解决端到端的数据处理的问题，是需要分析出企业的需求然后在设计对应的解决方案的。这种情况，往往对接的都是数据部门或技术部门，他们还是有清楚地目标的，那就是为企业构建很好地数据处理能力和平台。
　　但是，大部分时候，我们碰到的企业都是不知道从哪里分析起，因为我们沟通完，发现其实企业希望数据中台解决的问题并不仅仅是数据的问题，而更多的是企业数字化转型的问题，很多都无法直接关联到数据领域，也不是一个技术性的数据中台能够解决的问题。
　　这种时候，数据中台的建设是难解（Complex）或混沌（Chaotic）的问题，它没有清晰的解决思路，甚至很多时候在一开始的时候，从哪里开始都不知道，这时候，它又是一个无序（Disorder）的问题。
　　所以，一个企业如果想建设数据中台，首先我们需要识别，这个数据中台要解决的是什么问题，是归属于Cynefin框架的哪一个象限，然后才能够以这个为指导制定出对应的解决方案。
　　这里，我们分析了行业里大部分主流的数据中台产品和解决方案，梳理出通用数据中台的六大问题空间。
　　数据中台的六大问题空间
　　数据中台承载着企业数据全生命周期价值链的功能，我们将数据中台解决而主要问题分为以下两个类别，业务域和管理域。
　　其中，业务域是那些直接加工，生产，发布，交易数据和数据产品的问题，而管理域是辅助与业务域，让数据的直接价值更高效，更准确，更协作的支撑性问题。
　　所有的企业希望建设的数据中台的功能，都可以归入这六大核心问题空间。
　　l  业务域
　　n  数据的存储和加工
　　存储和加工是最基础的数据利用的功能，这一部分的业务问题是过去这么多年大数据领域主要贡献的领域。过去的数据工作，都是从这个问题域出发，将数据当做一种物资来管理。企业的数据部门主要承担着数据库管员的职责。
　　这个问题空间的参与者主要是数据和技术部门。
　　n  业务价值的探索和挖掘
　　数据能带来什么业务价值，能够适用于什么业务场景？这是当企业做了业务数据化以后，建设数据中台要回答的第一个问题。但是，这个问题空间并不是过去数据部门最关注的内容，而这却是数据中台区别于传统数据平台和数据仓库最大的地方。数据中台不仅仅是一个数据存储和加工的后台系统，而是一个能够为前台提供业务价值探索挖掘的平台，直接为前台产生数据价值。
　　而业务价值的探索和挖掘过程，却是一个综合性问题，是要业务、技术和数据部门协作才能去解决的，所以数据中台要提供端到端的识别、探索、挖掘的业务价值全生命周期管理的能力。
　　n  数据服务的构建和发布
　　最终数据要以各种服务的形式为用户所适用，这里的用户包括企业员工，也包括各种业务和技术系统。从业务场景到数据服务的过程，是一个软件工程的过程，是一个数据科学工业化的过程。如何能让这个过程更加的自动化，标准化，可复制，高响应，是这个问题空间要达到的目标。
　　这个过程的主要参与者是软件工程专业者。
　　l  管理域
　　在业务域之外，还有一个管理域，是辅助，支撑和管理让业务域的问题能够更加规模化，更加标准化，更加持续的被解决。不同的企业，不同的阶段的企业对于数据中台的管理域的诉求是不尽相同的，有的企业规模大，对于数据服务开发过程的管理要求很高，有的企业规模小，对于管理域的需求就比较弱。
　　数据中台的管理域主要包括一下三个问题空间。
　　n  共享和协作
　　如何让更多地人可以参与到数据价值的全生命周期生产过程中，让大家可以安全的共享数据，合理分工和协作，从而提高数据加工，价值探索，数据服务的效率和创新，是这个问题空间要解决的问题。
　　n  管理和治理
　　如何能够让整个过程更加有规则，资源的分配更加合理，数据的质量，产品的质量有保障，是管理和治理这个问题空间要解决的问题。
　　n  运维和运营
　　数据运维是保证基础架构的稳定，快速识别及时修复可能的风险和问题。而数据运营，则是持续从数据分析获得运营的策略并执行，从而及时应对和调整企业的数据策略。
　　在六大问题空间的基础上，我们将业务域和管理域进行了交叉，就得出了建设数据中台的十二个问题域，所有的数据中台的建设问题，都可以被纳入这个框架中进行解构和分析。
　　不同的企业这十二个问题域里的问题是不一样的，大部分企业的数据中台的建设都应该从核心问题空间开始，如下图，这是一个典型的大型多产业版块集团的数据中台的问题域。
　　这十二个问题域，也能对应到Cynefin的四个象限，从左到右，是管理价值，从下到上，是业务价值，数据需求越复杂的企业就越靠右上角，最基础的数据需求就在左下角。
　　所有要建设数据中台的企业，可以参考这十二个象限定位清楚自己的问题，然后再针对性的制定解决方案。
　　数据中台泛指通过数据处理、分析等技术，对企业内外部海量数据进行采集、计算、存储、加工、分析等一系列活动，凸显数据价值，加强企业对数据的利用，通过MDM主数据管理平台、DRP数据填报平台、DAP数据分析平台来支持数据中台搭建。数据中台建设主要包括以下内容：
　　1.数据规划：对企业内部数据需求进行梳理规划，根据数据需求建立正确的数据管理策略，治理内部数据的同时，加强对外部数据的采集及利用能力，主要规划内容包括：数据管理框架、数据标准制定、数据采集、清洗、转换、存储、安全、利用、测试等方式。
　　2.流程梳理：制定数据管理框架，将企业内外部数据使用的部门、关系流程走向、业务之间联系梳理明确，之后将其串联成一个整体，满足后续采集、清洗、存储分析等要求。
　　3.数据采集：对企业涉及的内外部业务数据进行线上、线下的采集、抽取、挖掘，包括内外部结构化数据、半结构化化数据、非结构化数据等。
　　4.数据治理：对企业内部主数据和元数据进行治理，对所用主数据进行统一治理，保证数据的一致性、完整性、准确性；元数据治理为方便数据仓库保存信息管理所进行的操作，以实现各类技术术语与流程在企业内部的统一定义。
　　5.分析展现：保证所需数据的一致性、准确性、完整性，之后将数据抽取或分发至计算平台中，通过不同的分析手段根据业务板块、主题进行多维度分析、加工处理，之后得到有价值的数据用于展现，辅助决策分析。
　　随着数字化时代到来，互联网、云计算、大数据、人工智能等技术推动着传统企业的数字化转型，未来企业对人、事、物的管理必定会被数字化全面替代，在数据中台部分，帮助企业进行数据管理，打造数字化运营能力。数通畅联专注于企业IT架构、SOA综合集成、数据治理分析领域，感谢您的阅读与关注。
　　在帮你解答数据中台建设内容前，我们先要说下，什么是数据中台？其实呢，数据中台不是一个产品，它其实是一个体系，一个集系统组织方法为一体的整体公司战略体系，它具有数据资产的规划和治理、数据资产的获取和存储、数据资产的共享和协作、业务价值的探索和分析、数据服务的构建和治理、数据服务的度量和运营特点。
　　数据中台功能图
　　在实施数据中台之前，企业需要构建数据中台的技术基础，例如，充分利用云计算和大数据基础平台。作为数据中台的技术基础，它的核心能力具有可见、可用、可运营三种。可见是指数据资产有哪些，这些资产从何而来，是被谁用，被用得怎样。可用是指如何保障数据采集、加工过程稳定，内容及资产的开放服务稳定。可运营是指怎么保障数据资产的可维护性，怎么权衡数据资产的构建成本，怎么保证出现新的数据维度能快速被应用到场景。元年认为数据中台业务赋能体现在＂业务数据化，数据资产化，资产服务化，服务业务化＂，持续赋能业务数据应用闭环。
　　通过前面的介绍，相信对于数据中台你已经有了更清晰的认识，那企业究竟该如何实施数据中台建设呢？元年认为数据中台建设有两种策略：打底座，建资产；找场景，做试点。中台项目是变革项目，是一个系统化工程，数据业务化产生价值需花费较长时间，元年研究院建议以业务场景为中心，以业财融合数据底座建设为抓手，以价值为驱动，快速验证数据中台建设价值。
　　企业数据中台建设整体规划图
　　数据中台总体架构分为数据来源层、数据中台层、数据消费层。它具有如下功能：
　　多租户管理：整个平台在云端部署，以多租户的方式向多个组织服务，实现底层计算资源和数据的安全隔离；每个租户可以根据需要分配不同的功能组件，各租户在使用上互不影响；底层数据在同一个平台，租户之间可以通过数据授权的方式交换数据。
　　数据交换：对主流数据源的全覆盖支持（20+），简单配置源头表和目的表的信息，即可多种方式建立映射关系。全程通过可视化、无代码的方式完成，支持本地或者云端数据同步，支持整库、单表、非结构化数据同步，且对特种数据源可快速通过插件化方式扩展支持。
　　离线开发：具有丰富的大数据组件和可视化开发界面，实现统一调度、多环境级联、多版本管理、运维监控。
　　实时开发：可视化流式开发，实现实时数据同步，兼容多种任务类型，进行图形化Kafka管理、企业级运维监控。
　　算法开发：拥有灵活的建模方式、丰富的算法库及主流计算框架，弹性架构，强大性能，可提供企业级服务。
　　资产管理：可作为数据资产门户，同时提供数据质量、数据模型、元数据、数据标准、数据安全管理。
　　服务管理：服务管理平台使用RESTful API，通过规范化、标准化的API接口，降低系统间耦合，充分复用已有的数据资产，避免重复开发造成的资源浪费，快速对业务赋能。
　　企业数据中台建设技术架构图
　　此外，元年可协助企业结合数据战略规划和构建业务应用，并借助数据中台建设进行落地。企业百度、元年智答、图谱搜索，是元年数据智能交互深化应用的成果。可以关注元年，了解更多数据中台、企业数字化转型等相关信息！
　　这个词，和技术无关，和工程无关，只是一个数据知识体系建设。就像说互联网+。我问问你，建设内容包括哪些？不要去想适配那些大家都听不懂的词。
　　一、全域数据采集与引入
　　以需求为驱动，以数据多样性的全域思想为指导，采集与引入全业务（电商、零售、生产等）、多终端（PC、H5、APP等）、多形态（自身业务系统、三方购买、互联网采集抓取）的数据。
　　二、标准规范数据架构与研发
　　统一基础层、公共中间层、百花齐放应用层的数据分层架构模式，通过数据指标结构化规范化的方式实现指标口径统一。
　　三、连接与深度萃取数据价值
　　形成以业务核心对象为中心的连接和标签体系，深度萃取数据价值。
　　四、统一数据资产管理
　　构建元数据中心，通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。
　　五、统一主题式服务
　　通过构建服务元数据中心和数据服务查询引擎，面向业务统一数据出口与数据查询逻辑，屏蔽多数据源与多物理表。＂
　　北明数科DTechInsight数据中台：提供一站式数据解决方案，构建数据分析和运营能力，解决数据＂存、通、治、用＂等难题，实现数据化、精细化、智能化，助力＂政企＂数字化转型，让数据作为生产资料融入业务价值创造过程，持续产生价值。
　　（一）、产品蓝图
　　DTechInsight数据中台—产品蓝图
　　（二）、应用场景
　　1、多源异构数据汇聚
　　场景描述：数据汇聚支持多种异构数据源同步，包括关系型、非关系型、实时数据的采集处理。
　　能够提供：各种数据源连接信息配置管理以及检测功能；实时采集引擎、周期采集引擎的配置管理和快速部署功能；采集作业的任务配置，任务调度功能；为每次作业提供日志监控，指标监控等可视化界面；多个维度的数据指标监测和采集作业运行监测功能。
　　2、数据开发
　　场景描述：数据开发面向开发人员提供离线、实时、算法开发工具，以及任务的管理、代码发布、运维、监控、告警等一系列集成功能，根据建设需求对数据进行加工处理。
　　能够提供：百万级任务并发，可对任务进行复杂的依赖条件和灵活调度周期配置；数据开发任务类型满足临时查询、周期调度等不同场景下的开发需求；多类型在线脚本开发，屏蔽底层组件，为用户提供任务监控管理机制。
　　3、数据治理
　　场景描述：数据资产通过数据资产目录、元数据、数据质量、数据血缘、数据生命周期等功能对数据资产进行管理，提升企业数据意识。
　　能够提供：通过元数据模型、数据标准的建设，提高企业数据的规范性；丰富的元数据管理能力，包括元数据采集、编目以及版本信息维护；构建数据血缘图，追踪数据从业务系统到数据服务的全生命周期流转；数据质量和数据安全的管理，保证数据可管、可用。
　　4、数据服务
　　场景描述：数据服务通过对数据进行计算逻辑的封装（过滤查询、多维分析和算法推理等计算逻辑），生成API服务，上层数据应用可以对接数据服务API，让数据快速应用到业务场景中。
　　能够提供：数据在业务层的全域流通；降低数据接口的重复建设，减少工作人员开发成本；保障数据获取的及时性和稳定高效，以对接不同部门的业务需要。
　　5、资产运营
　　场景描述：资产运营通过搭建可视化的数据展示平台，面向用户提供不同维度数据服务资源目录，支持自助式的资产查询、订阅、下载以及服务调用。
　　能够提供：资产门户管理场所，供数据消费方简单、便捷、详细地了解资产信息；通过统一的标准进行评估，全面分析资产使用次数、频率等指标；多维的资产监控界面，第一时间发现问题，及时排查，保证系统稳定。
　　（三）、产品优势
　　1、强大的适配能力：基于云原生架构研发，可以适配各种云厂商产品以及物理资源服务器；
　　2、全域数据快速同步：从结构化数据到非结构化数据，从实时到离线，应有尽有，满足多业务全域数据同步需求；
　　3、元模型驱动开发：提供元模型设计和元数据开发能力，快速适配不同的业务场景
　　4、任务智能调度：采用无中心分布式架构，支持百万级任务调度执行，支持时间调度，依赖调度，手动调度等。
　　进入北明数科官网，了解更多信息！预约免费演示！