
文章架构
1、项目背景
2、客户现状
3、解决方案
4、价值
01
—
项目背景
项目背景这个没什么好说,也没什么好看的(就直接忽略不计了)。
02
—
客户现状
深圳***公司从2013年开始搞数据管理,还专门成立了的数据管理部门。这个部门负责建数据仓库和BI系统等,过程中遇到了不少麻烦,我们梳理出来的情况大概是这样的:

(1)数据太乱,谁都说不明白
***公司现在有300多个信息系统,而且还在增加。这些系统的数据模型都是各自为政,没有统一的管理,导致数据乱七八糟的。公司没有一个完整的数据地图,谁也不知道自己手头有多少数据,数据在哪里,怎么来的,要去哪儿,质量怎么样。尤其是那个用了7年的数据仓库,因为人员变动大,现在连负责人都搞不清楚里面的数据是啥情况,每次业务部门要数据,他们都一头雾水。
(2)数据质量差,让人头疼
看到***公司的数据质量挺让人不开心的(跟个小学生作业一样,惨不忍睹)。数据不好用,质量不稳定,想跨部门、跨地区、跨业务线共享数据太难了,数据的利用价值也没法发挥。数据仓库里一堆乱七八糟的数据,比如同一个客户有好几条记录,只是因为名字写法不一样。这些烂数据让数据分析效果大打折扣。系统间的数据也不一致,数据库里一堆没用的数据,分析起来特别麻烦。而且很多数据都躺在各自的系统里或者个人电脑里睡大觉,很少被重新利用。数据准确性也是个问题,比如金额的小数点处理不一致,统计起来误差很大。
(3)数据没规矩,大家各搞各的
***公司没有统一的数据标准,统计方法不规范,意思也不清楚,数据收集和处理效率低。每个系统都自己设计数据模型,导致数据标准不统一,功能重复建设,浪费了很多资源。公司也没有好好管理元数据,数据资产的情况说不清楚,不知道数据从哪来到哪去,这让开发和分析工作特别不方便。数据标准不统一,系统间的数据不一致,导致系统间的对接和信息交换特别难,数据共享成了大问题。
所以,***公司现在急需通过搞一个数据资产管理项目,把数据管理好,统一标准,解决质量问题,让公司的数据资产能看明白、管得住、用得好。
03
—
解决方案
***公司想要像管理金钱和物品一样管理自己的数据,所以我们帮他们建立一个完整的数据资产管理方案。这个方案分为几个部分,主要是为了做到以下几点:让数据像账本一样清晰,数据之间的关系像地图一样明了,数据服务集中管理,数据标准能实际应用,数据质量可以衡量,数据安全能够监控。

3.1. 数据资产管理的总体规划
***公司的计划是分四步走:先摸清家底,看看自己有哪些数据,然后评估一下现在管理数据的能力怎么样,接着建立一个管理体系,最后再建一个管理数据的平台。
知道他们的数据管理有点乱,所以这次重点要做三件事:管理好数据的“身份证”(元数据管理),统一数据的“说话方式”(数据标准管理),保证数据的“健康”(数据质量管理),(下述的事务,你不要看着简简单单几句话,真正做起来,能让你崩溃,这一块需要专业的您和客户作讲解,并双方友好配合,缺一不可)。
(1) 元数据管理
帮助***公司建立一个像字典一样的系统,让全公司都能用同一个“数据字典”。这样,如果上游的数据变了,下游也能知道。这个系统要能全面管理数据的“身份证”,让数据管理人员、开发人员和业务人员都能方便地使用数据。
(2) 数据标准管理
帮助***公司先解决最急的问题,帮他们整理了常用的业务术语,让全公司都说一样的话。他们还打算梳理公司的核心业务,建立一套数据指标体系,并且通过平台来管理这些标准。
(3) 数据质量管理
帮助***公司制定数据标准,建立一个质量检查体系,用一些技术手段,比如去重、校验、规则比对,来保证数据从收集到使用的每个环节都是高质量的。
3.2. 数据管理成熟度评估
我们参考了一个叫做DMM的模型,来评估管理数据的能力。他们发现自己现在处于中等水平,需要改进的地方还挺多,比如数据资产管理组织的角色分工不明确,数据标准不统一,数据质量问题大,需要加强数据资产管理平台的建设等。
3.3. 数据资产调研及梳理

帮助***公司整理数据,就像打扫房间一样,把东西分门别类放好。他们梳理了整个价值链,确定了37个业务领域和83个数据主题(你觉得你需要多久能整理好这么多)。然后,帮他们详细梳理了每个业务领域的所有信息,确定了哪些数据最重要,哪些需要优先处理。
3.4. 数据资产管理体系建设
根据***公司自身的业务特点和信息化的现状,建立了一个数据资产管理体系,包括组织机构、数据标准体系、数据管理办法与流程等,就像建了一个高效的数据生态系统。
3.5. 数据资产管理平台建设
为了落实数据标准和规范数据质量管理,搭了一个数据资产管理平台。这个平台包括数据标准管理、元数据管理和数据质量管理三个部分,就像是数据的家,让数据有地方住,有人照顾,还能保持健康。
04
—
价值
我们搭建的数据资产管理平台,主要关注数据标准、元数据和数据质量这三个重要方面。这个平台就像一个透明的管家,把所有数据管理工作都放在一个界面上,让管理变得统一、自动和开放。
通过这个数据资产管理项目,助力***公司做了以下几件事:
(1)建立了一个数据资产管理体系,就像建了一个大仓库,把人、流程、策略、标准、安全和技术都放在一起,这样公司的信息化建设就有了全面的监管;
(2)搭建了一个数据资产管理平台,从公司的核心业务流程“产供销”出发,把公司的数据资产都梳理了一遍,画了一张数据资产地图。这个平台还能通过分析元数据,帮助企业追踪和溯源业务指标,为公司的管理和决策提供了重要的支持;
(3)建立了一套数据标准和数据标准管理体系,明确了谁来负责管理数据,统一了数据规划和标准。通过这个平台,数据标准可以得到管理、维护和更新;
(4)建立了一个数据质量管理模型,涵盖了数据质量规则的制定、检验、问题分析和整改,就像一个数据医生,从数据的出生到存储、交换、管控,全链条监控数据的质量,以此来提升数据资产的管理水平。
注释:如有失误,望批评指正!感谢各位
后面会写下Windows和liunx的应急响应技巧、容器、还有一些网络安全、数据安全。
后台输入“Windows应急响应手册、linux应急响应手册、数据安全政策、数据安全治理、电力、工业、金融、0731、0830、0911”有相关资料可供下载!