数据治理视角下的可观测性

　　导读：数据治理发展到今天已经形成了一套比较成熟的体系，关于数据治理，在实施阶段的方法论、流程、路径、工具有很多种，但整个项目能否成功落地的最大的风险点并不在数据治理的实施阶段，而是在于实施后对治理效果的验证与评估。例如，实施方在做了很多数据治理工作后缺乏有效的、客观的评价手段，导致数据治理人员无法观测治理设计和实际落地效果之间的差距，无法持续改善数据质量；另一方面，客户领导或业务部门对整个治理工程的感知也不深入，容易对数据治理项目的效果产生负面印象。因此，数据治理效果的评估是数据治理工作成功的关键之一。
　　文章内容主要包括三个部分：数据治理的概念、方法及流程数据治理效果的评估及不足基于观测云的数据治理效果可观测性实现
　　分享嘉宾张田驻云高级产品技术专家
　　编辑整理杨康南京大学
　　出品社区DataFun
　　01hr什么是数据治理
　　1。数据治理概念
　　《DAMA数据管理知识体系指南》一书给出的定义：数据治理是对数据资产管理行使权力和控制的活动集合。从范围来讲，数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析，从源头到终端再回到源头形成一个闭环负反馈系统。其目的是通过有效的数据资源控制手段，进行数据的监督管理，以提升数据质量进而提升数据变现的能力和管理的效率。
　　2。数据治理方法论及流程
　　数据治理发展到现在，已经有了一套成熟的方法论及流程体系，涉及数据采集、加工、存储、传输、应用全流程。业务发展离不开数据应用和运营，数据应用和运营离不开高质量的数据资产，而高质量的数据资产离不开数据治理体系的建设，包括数据标准、数据质量、数据安全、数据服务等相互串联的各个模块。
　　以数据集成为例，在完成数据集成时，数据标准的落实和改造、主数据管理开发、质量规则开发、数据服务开发、可视化平台建设等方面都要考虑到数据治理规范，进而保证数据资产的质量、安全、性能满足要求。因此，数据治理在数据资产生产流程中扮演着重要角色，也意味着数据治理过程将会是一个庞大、复杂的体系。正因如此，在治理过程中会遇到各种困难和问题。一个常见的情况就是，客户的需求输入来源很多，实施方的治理方法、流程、路径很多，落地、输出的内容项目也很多，但是在数据治理后，领导、业务部门用户等对于治理效果缺少感知，认为治理前后被没有太大区别。为什么会出现这种情况？一个突出的原因就是数据治理效果评估手段的不足。
　　02hr数据治理效果评估及不足
　　1。数据治理效果评估
　　传统的数据治理效果评估方法包括：访谈问卷、自定义报表、报告以及可视化大屏等，虽然传统评估方法可以做到基本的效果评估目标，但如果想把数据治理效果更全面、更客观地展示出来，还需要更丰富的维度和工具。比如可以换个视角，从治理后数据真实使用的场景入手，通过工具来收集数据在被真实用户使用时的客观指征，借助分析工具量化展示治理后数据给用户带来的实际收益。简单来说就是将方法域的评估方式扩展到工具域，以客观方式呈现数据治理带来的实际价值。
　　2。数据治理效果评估的不足
　　两种评估体系比较显著的区别在于，方法域立足于治理项目本身，出发点是从数据工程的视角来看项目成功与否，工具域则立足于最终使用的用户，通过用户访问、检索、修改、新增等真实使用过程来客观评判数据治理的价值。工具域手段的引入解决了传统方法域数据工程客观性不足的问题。毕竟无论是调查问卷还是组织会议都无法避免被访谈用户的主观因素影响，而用户对数据的真实操作不会说谎。数据质量高不高，好不好用，治理过程到底有没有解决之前因数据质量而引发的各种问题，答案都隐藏在用户的每次操作、查询、点击的细节之中。
　　数据治理友商其实也逐渐意识到了这一点，目前很多治理工具都会进行一些指标、日志数据的收集。部分集成了高级功能的监控工具还会采集用户访问、操作以及其他可用于对后端系统的数据响应进行评估的数据。借助这些数据尝试识别和解释数据治理的最终应用成果治理后的数据到底对业务有多大的正向影响，对最终用户的使用到底有多大的正向影响。
　　但是这样的监控其实还是停留在比较初期的数据采集阶段，而获取更多的数据并不意味着获得更强的洞察力。因为监控数据与业务数据类似，如果希望发挥其最大的效果，同样需要对海量的监控数据进行治理，并通过一定的方式对其进行组合、关联，最终借助合适的方式展示出来。这也是我们在数据治理中引出可观测性这一概念的原因。
　　03hr观测云数据治理可观测性实现
　　1。可观测性概念
　　可观测性表示收集一个系统的所有指标、日志以及链路追踪数据，并通过一定的治理手段使这些数据有机结合，以合适的方式呈现出来，最终帮助用户更好地理解和解释系统当前所处的状态。可观测性解决的一个重要问题是增强用户对系统洞察能力的感知，具体到数据治理这项工程来说，就是帮助用户更好地理解、解释当前的数据治理效果对业务过程到底产生了怎样的影响，对于用户使用到底有多大的助力。可观测性的实现一个重要工作就是在收集到的海量监测数据之间建立联系，通过数据标签体系将原本看似毫无关联的各维度数据进行关联，从而保证更快、更准确地向使用者展现当前系统、数据或治理体系所处的状态。
　　2。可观测性工具
　　作为一个成熟的可观测工具，观测云通过提供多源头的数据采集、以标签体系建立数据之间的联系、对观测到的数据进行统一存储及自定义图表呈现等观测能力，构建了一套完整的数据治理价值评估体系。
　　有了观测云的帮助，就可以通过观测整个系统的运行过程来回答诸如治理后的数据是以什么方式在被使用，对外服务是怎么做管控的，谁用了数据、用了多少数据、使用体验如何等。这些原本只能通过一些方法域手段去调研、去定性衡量的问题现在都可以客观、定量地展现出来。
　　从宏观上讲，我们可以通盘掌握被观测系统场景的数据运行状态，以及用户群体对于数据质量方面的真实反馈；从微观上讲，可以精确到某个用户的某次登录的具体操作，在每个页面上停留、等待的状况等信息。借助工具我们可以进一步探索不符合预期的操作或对数据的负面反馈信息到底是数据导致的，还是不合理的产品设计导致的。这些探索都需要基于观测工具去做采集、记录和分析。由观测工具将平台记录的数据以图形化的方式来展示，最后总结一套指标体系去衡量无论是宏观角度还是微观角度被观测系统从数据治理领域的数据表现、性能表现、行为表现是否符合在数据治理工程实施阶段所设计的预期。
　　以上就是可观测平台在数据治理方面的大致使用场景，作为一个可观测工具，观测云未来会借助于功能设计、功能开发，技术人员对于可观测的理解以及对于可观测性在不同行业、不同场景下的应用积累，不断去满足数据治理需求，推动数据治理项目的高效落地。
　　今天的分享就到这里，谢谢大家。
　　分享嘉宾
　　张田
　　上海驻云信息科技高级产品技术专家
　　本科毕业于西安邮电大学，具有多年系统上云服务及运维经验，在系统可观测性场景设计，观测指标体系建设以及系统全链路可观测性的构建方面积累了丰富的经验。擅长复杂应用观测、网络监控、用户访问监测数据的收集、分析、应用等问题的分析及处理。
　　DataFun新媒体矩阵
　　关于DataFun
　　专注于大数据、人工智能技术应用的分享与交流。发起于2017年，在北京、上海、深圳、杭州等城市举办超过100线下和100线上沙龙、论坛及峰会，已邀请超过2000位专家和学者参与分享。其公众号DataFunTalk累计生产原创文章800，百万阅读，15万精准粉丝。