教育大数据之数据资产管理系统

兜兜转转，眨眼间4个月过去了，数据集成系统和数据开发系统如期正常上线了，突然被告知，我不用打“大数据能力平台”这个副本了，此刻的心情是复杂的。虽然起初不是很想做这个，但是当做了一段时间后我觉得还不错，突然又不让做了，着实有点不舒服，当然这些都不重要了。不过虽然官方副本不让打了，自己可以尝试把整个副本的攻略搞完。

接下来开始第三个副本“数据资产管理系统”，刚听到这个系统名字的时候，还是蛮有信心的，因为四年前曾从0到1做过一个资产管理系统，但是深入了解之后发现资产管理和数据资产管理虽然只有两字之差，但是做的事情却是千差万别，接下来一起聊聊“数据资产管理系统” 吧！

1.1 什么是数据资产

2020 年 4 月 9 日，中共中央、国务院印发《关于构建更加完善的要素市场化配置体制机制的意见》，文中将数据定义为一种新型生产要素，与土地、劳动力、资本、技术要素并列，共五大生产要素。近年来随着科技的飞速发展，人工智能、云计算、大数据等技术快速更新迭代，数据呈现爆发式增长，从而进一步成为了构建现代社会必不可少的要素。

伴随着大数据时代的悄然来临，数据的价值已被广泛认同，大家对数据的重视提到了前所未有的高度，数据即资产，已然成为最核心的思维方式。

数据资产是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数据资源。比如，大家平时网购，生成的每一条订单信息就是数据资产。

1.2 数据资产的价值在当下，越来越多的企业开始借助大数据来进行管理和决策。通过大数据分析和挖掘，企业明确钱该花在哪里，哪些地方应该多花，哪些地方应该少花，目标客户在哪里；企业利用数据刻画出丰富的客户资料，然后借助运营手段来取得竞争优势。通过对结果数据和过程性数据的跟踪和分析，降低成本，控制风险，为一线用户提供更好的产品和服务。

随着社会的发展，企业对数据的需求会不断增长，企业对数据的依赖性也会不断增强，人们可以越来越清楚地评估数据资产的价值。

2.1 什么是数据资产管理

“数据资产管理”一词，在国内首次由DAMS（中国数据资产管理峰会）组委会正式提出。中国数据资产管理峰会对数据资产管理的定义为是对数据管理、数据治理及数据资产化的管理过程。

中国信通院发布的《数据资产管理实践白皮书》中对数据资产管理的定义是：数据资产管理(DAM，Data Asset Management)是指规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。数据资产管理是需要充分融合业务、技术和管理，来确保数据资产保值增值。

2.2 数据资产为什么需要管理

数据本身价值有限，无法发挥出有效的价值，只有通过一定方式的处理，让数据真正转化为企业的资产，才能是数据发挥出真正的价值。比如教育场景下，随着教育信息化2.0的不断深入，学校出现各种各样的业务系统，作业系统、考试系统、智慧课堂、智慧考勤等等。这些系统在运行过程中产生了大量的业务数据，但是这些数据分散在不同的业务系统中，各系统之间互相隔离，标准不统一，学校也没有时间和精力去梳理到底哪些系统中有哪些数据，不知道有多少数据，更不清楚哪些数据可以使用。这些业务系统的数据没有经过处理转化，仅可以被称作数据，无法真正称作数据资产。

2.3 数据资产管理的痛点

尽管“数据是资产”概念已经广为人知，但“如何管理数据资产”仍然缺少成熟理论以及工具手段。当前存在的问题有：

因此，以解决客户痛点为业务导向，构建数据资产管理系统成为大数据平台建设必不可少的一项工作。

数据资产管理系统基于数据目录盘点数据资源，以统一数据标准为基础，规范元数据管理。围绕数据资源管理、数据标准管理、元数据管理等核心功能，实现“盘点数据资源，规范数据资产，发挥数据价值”的数据管理目标，为各级教育部门提供一站式数据管理。

数据资产管理的总体目标是厘清数据资产，通过构建数据资产管理支撑架构，规范数据的生成和使用，持续改进数据质量，强化数据管理体系建设，为企业或组织提供高价值的数据服务于数据应用支撑能力。通俗来说就是把分布在各系统中的数据资源转化为数据资产而不是数据垃圾。为了实现这一目的我们的需要做：

（1）数据资产盘点：统计汇总数据资产管理系统现阶段数据情况，统计维度包括数据源类型统计、数据量统计、分层数据库数据量统计、数据量更改趋势、标准字典统计、元数据量统计等，展示数据仓库中数据脉络信息, 以可视化的方式展示。

（2）数据标准管理：通过提供统一的数据标准管理支撑工具，实现数据标准化的统一管理。

（3）元数据管理：元数据记录了数据从产生到消费的完整链路，通过数据资产管理的方式，管理元模型以及元数据的获取、生成、变更等环节,实现元数据血缘影响关系的自动分析，有效的维护元数据的可管理性。

（4）数据资源管理: 基于数据目录，直观的展示当前汇集的数据资源情况，展示数据仓库中数据脉络信息,为快速盘点当前数据情况，提供可视化的支撑。

4.1 产品架构

经过和相关客户进行沟通，以及和公司技术大佬学习，终于搞出来资产管理系统1.0版本的蓝图，见下方：

4.2 功能说明

接下来咱们就一起去看看这每个模块都具体提供什么功能。

4.2.1 数据资产盘点

（1）数据资产概览

数据资产概览提供查看当前数据资产管理系统中全部数据情况，包含资产在个资产目录分布情况、数据仓库建设情况、数据增长趋势等等，帮助教育管理者快速有效的了解数据建设情况，以便于采取管理手段和制定决策时，实现科学管理精准决策。

（2）数据资产查看

数据资产查看支持查看所有数据资产目录下的数据资产情况，用户通过查看数据资产详情了解每一个资产的具体信息，当后续工作中需要数据支持时，可以快速有效进行查询调用。

数据资产查看模块汇总展示数据资产管理系统中全部的数据资产信息，包含但不限于数据表、api、非结构化数据等等。

（3）数据地图

通过元数据刻画出数据仓库脉络，形成数据地图，展示了数据在仓库中的走向。支持用户根据表字段、表名进行全文检索，快速定位，支持用户查看表字段说明、数据变更情况、血缘关系。

通过ETL操作元数据自动构建出元数据之间的血缘影响关系，形成对象、对象属性、任务、作业之间关系信息，为资产人员提供仓库数据来源去向可视化视图，同时为数据溯源提供可行性支撑。

4.2.2 数据标准管理

（1）数据元管理

数据元管理为客户提供元数据新增、编辑、维护的功能，用于业务方标准化管理本业务相关的字段，用于后期数据的统一管理。包含定义数据元名称、标识、长度、类型、值域等相关信息，为对象定义时提供最小的数据单元信息。

换一种说法，我们也可以称数据元为字段标准，就是大家常见的表字段，比如用户id在多个表出现，此时各业务系统之间开发人员根据自己的编写习惯来定义用户id，可能有的叫uid，有的叫user_id，有的叫userid，为了提高数据的一致性，我们对这些代表相同业务定义的字段进行统一管理，制定标准来为后续的数据建模提供支持。

（2）标准字典管理

本模块支持用户对标准字典进行管理，支持用户编辑已有的标准字典信息，同时支持在各类标准字典分类下新增标准字典表及字典项，扩充标准字典库，用于后期对业务数据的标准化管理。数据标准包括不限于国标、部标、行标等。

标准字典类似于我们表中常见的一些可枚举维度字段，比如年级、学科等等，我们也时常把它们称作枚举值。年级作为数据元会出现在多张表中，当用户想要了解年级都有哪些值时，需要找相关人员进行了解，而且大多数我们的开发喜欢对这些字段给与code编码，比如1~9对应一年级~九年级。当我们看到年级字段的值是1时，如果不知道这个映射关系，就很难对数据做出有效分析得出想要的结论。因此通过标准字典管理，对这些可枚举标准进行统一管理。通过标准字典用户可快速了解字段的枚举值，以便与进行后续分析。

（3）业务术语管理

业务术语管理模块支持用户对业务术语进行新增、修改、查看、删除的操作。通过业务术语管理将业务中一些常见的术语进行统一管理，并且让业务所涉及的各干系人能够在工作中达成理解的一致，保证沟通顺畅。

4.2.3 元数据管理

（1）元数据查询

支持按关键字的全文搜索，通过元数据查询功能可以准确定位元数据。

（2）元模型管理

基于元数据管理工具构建符合CWM规范的元数据仓库，实现元模型统一、集中化管理，支持新增、修改等功能。

（3）元数据管理

本模块主要是在数据源下依托元模型进行元数据管理，支持对元数据进行新增、修改、删除等操作；包括表、视图、索引、字段、列族、消息、ETL等各类元模型下元数据。同时自动分析出元数据之间的血缘影响关系，为数据地图提供数据支撑。

（4）元数据分析

元数据分析支持按数据源查看已注册的所有元数据以及元数据的血缘影响关系。

• 血缘分析：

  也叫血统分析，采用向上追溯的方式查找数据来源于哪里，经过了哪些加工和处理。

  常用于在发现数据问题时，快速定位和找到数据问题的原因。

• 影响分析：功能与血缘分析类似，只是血缘分析是向上追溯，而影响分析是向下追踪，用来查询和定位数据去了哪里。常用于当元数据发生变更时，分析和评估变更对下游业务的影响。

4.2.4 数据资产目录

（1）目录分类管理

（2）数据目录编制

本模块主要支持数据目录的编制功能，支持对现有数据表和元数据绑定目录关系；数据目录内属性信息来自现有的元数据，将元数据进行分类管理。