TigerGraph随身听第16期：基于图的数据治理，加速企业数字化转型，嘉宾来自中国联通

对此，我们事业部在公司整体算力平台和数据资产平台的共同加持下，把每天联通运营过程中产生的数据抽取出一些容易结构化且对行业有价值的数据，进行数据加工和保存。即使已经优中选优，目前的存量也将近100PB。目前数据的日增量是200多T。日运行加工的job，会达到上万，这里包括100多个库、7000多张表、200多个加工模型，依托在2000个节点的集群的运算规模上。数据维度上来看，主要包括脱敏的用户基础信息、通话、短信、语音、流量及关系数据、物联网日志与信令数据。在集团网联云算数字的逻辑层中，我们属于最上层。

那么，这么大的数据量和这么多的数据维度，基于数据安全，全链路生产、元数据管理、数据血缘分析和数据质量集合等数据治理能力必不可少。

数据血缘是数据治理的细分领域重要的应用功能，为我们的数据管理人员和数据开发人员提供了很大的帮助。通过数据血缘，我们可以做到跨数据源、跨存储，对数据源进行全链路的跟踪影响分析。数据孤岛的洞察，让数据加工流程可以追溯，数据敏感流向可以跟踪，数据影响范围也可以快速地评估。通过数据血缘的应用，最终我们期望达到的目标是以无侵入的方式完善企业级全域的数据管理平台体系，提供全域物理视图、业务视图、元数据变更跟踪监控、全域数据血缘关系图等核心功能。

那我们有了明确的目标导向，也依托于TigerGraph图数据库强大的计算引擎，帮我们完成了数据血缘中关键的一环。我们的数据血缘系统建成后，也就自然具备了几个特点：

• 高自动化、高质量、少人工参与绘制全域数据血缘关系；
• 采用图数据库承载数据表、数据字段的血缘关系，并提供复杂血缘关系的毫秒级查询，以及线上复杂的追溯需求。

下面我们就来看一下我们在数据血缘系统构建的工作上都做出了哪些努力。

• 下一个，是冷热表分析。冷热表分析主要是对数据表被使用的热度进行量化，基于Page Rank算法，分析数据表被使用或依赖的程度，计算数据表的得分，用得分来表征其重要性。识别库表的重要性程度有利于评估数据价值，进行数据定价、资源分配等。举例来说，我们可以使用冷热表分析的结果来确定数据表的压缩格式和存储周期，以便更好地利用HDFS资源。
• 数据跨层、逆向跨层问题表分析的是：数据库中存在的部分库表，并没有按照数据仓库的设计原则使用，而是跨层级加工，如dm层的数据直接从ods层的数据表加工得到。数据跨层加工或逆向跨层加工不仅会严重影响到数据质量的监控，还会对相关系统实时监控也会产生一定的影响。那这个算法实现起来逻辑相对来说比较简单。通过图的一度关系查询，筛选出原表与目标表层级相差不等于0和1的数据链路关系，判定为存在数据跨层或逆向跨层的问题的数据表。
• 最后一个，分析的是如果在数据加工链路中出现过多的数据表，且大量中间表几乎不再被调用，结果导致加工流程繁杂、储存资源浪费。算法通过融合上游表链路查询和两表间链路查询的功能来实现。