400-680-2995 投诉建议 | 中文 / EN

数据治理在数据中台建设中的重要性

数据管理的概念是伴随上世纪八十年代数据随机存储技术和数据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出的。国际数据管理协会在2009年就发布了第一版数据管理知识体系(DMBOK1.0)。受过去我国经济、社会和技术发展水平的限制,国内的数据治理起步较晚。在信息化到数字化的不同阶段,数据治理的概念在国内从无到有,从小众需求到如今普遍成为企业数字化转型的刚需,数据治理的重要性日益显著。

数据治理从空白到不可或缺的蜕变

1、信息化阶段

在企业信息化的阶段,数据的使用范围限制在单个系统内部。数据由实现系统功能的IT人员设计出来,由系统生成和访问,数据的问题较少且问题的产生和表现都是在单个系统,数据问题被认为是纯IT问题。例如,缺少元数据是因为系统建设项目组文档管理不善,缺少数据字典;数据质量问题则被认为是系统的BUG。

2、数据仓库建设阶段

随着我国经济的发展,银行、通讯等信息化起步较早的行业的数据规模逐渐增大,并开始建设数据仓库,利用积累的大量数据进行经营分析和决策支撑。从多源系统中采集数据进行集成过程产生大量数据问题:数据标准、数据标准不统一,集成时需要做大量的转换;缺少数据字典,系统有哪些数据、数据结构、数据的业务含义不明;源系统之间数据冲突;指标口径不清晰;同名、相似指标难以区分。

此时,部署了数据仓库的企业开始寻求元数据管理、数据质量管理、数据标准等等方法治理数据。这个阶段的数据治理,只是少部分数据仓库玩家的小众需求。

3、大数据阶段

2011年5月,麦肯锡发表著名的研究报告,题为“Big data: The next frontier for innovation, competition, and productivity(大数据:下一个创新、竞争和生产力的前沿”,标志着大数据时代的到来。随后,各行各业的信息化步伐加快,大数据一词被越来越多地提及。麦肯锡提出:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” 2015年,十八届五中全会首次提出“国家大数据战略”,《促进大数据发展行动纲要》发布。大数据上升到国家战略,对数据的采集、融合、加工、应用的需求从互联网、金融、通讯等先进领域的头部企业,下沉到各行各业的中小企业。

由于这部分企业缺少数据仓库建设的经验,在开展大数据的融合、应用过程中遇到的数据问题往往束手无策。面对绕不过的数据问题,提供大数据解决方案的服务厂商中,开始建设元数据、数据标准、数据质量等数据治理组件,但由于缺少方法论的指导和实践经验,数据治理效果往往不够理想,部分企业开始寻求第三方专业数据治理工具和服务的帮助。

4、数字化转型阶段

在国家和产业的双重推动下,数字化转型成为企业适应数字经济环境,赢得市场竞争优势,谋求生存发展的必然选择。企业的数字化能力建设是现阶段数字化转型的核心,数字化转型的成功立足于数字化转型项目和项目群的成功实施,而具备相应的数字化能力是真正将这些项目落地的前提条件。数字平台则是为企业提供数字能力、应对不确定性的核心。

在数据平台建设上,早期的观念还是离不开数据仓库,普遍的做法是搭建大数据技术平台,在此基础上建设数据仓库。但在大数据环境下,数据仓库的不足也逐渐暴露。传统数据仓库的主要作用是探索并挖掘数据价值,为企业高层决策提供依据。进入数字化转型阶段,数据的作用被进一步发掘,除了数据分析外,用户画像、精准营销、数字化运营、数字化管理等应用场景都构建在数据平台的基础上。数据平台由“旁站”式向“底座”式转变。在人工智能、大数据等技术发展和企业数字化转型加速的双重驱动下,2019年,数据中台在众多赛道中脱颖而出,成为行业焦点。


数据中台的价值在于业务数据化、数据资产化、资产服务化和服务业务化。数据治理则是实现数据资产化的重要步骤。不同于过去的数据平台,数据治理不是数据平台的附件,而是数据中台建设的一个重要组成部分。数据治理,在消除数据孤岛、提高数据质量、保障数据安全等方面,支撑中台数据的可见、可用、可运营。

数据治理提升企业数据管理效率

1、消除数据孤岛、避免重复开发

过去,数据在不同的系统独立存储,独立维护,彼些之间相互孤立,数据之间是物理上的孤岛。建设数据平台,对数据进行统一采集后,数据的物理孤岛现象消除,但数据的逻辑孤岛依然存在,不同部门站在自己的角度对数据进行理解和定义,相同的数据被赋予不同含义,加大了跨部门数据合作和沟通成本。即使对基础数据进行了统一的采集整合,基础数据之上还会形成应用孤岛,不同部门、不同项目组的应用独立开发,指标和汇总数据都使用基础数据进行计算,不仅浪费大量人力开发资源、计算资源,还对后续的运维造成沉重的负担。

在数据治理的过程中,通过采集各业务系统和数据中台的元数据,为数据的采集、开发、存储、应用全生合周期的数据管理提供基础信息;在元数据的基础上识别数据资产,对企业数据资产进行识别盘点,包括中台采集的基础数据、共享模型和组件、指标和数据应用,形成企业数据资产目录,为数据共享开放和开发成果的复用提供统一的入口。

2、提高数据质量

传统的大数据仓库,主要作用是经营分析、决策支撑,对数据的精度要求较低。而数据中台作为企业利用数据驱动业务的基础支撑平台,企业的业务、管理都可能建立在中台之上,对数据质量则提出更高要求。例如,同样的财务数据,用来做经营分析和用来做税务结算的数据质量要求完全不同,前者只需要宏观数字的准确,后者则在精确、准确上有着更高要求。

数据质量问题通常在中台数据整合、加工过程中暴露,但其问题发生根源往往在源端业务系统。建立数据质量规则库,对中台数据持续进行质量稽核和监控,对问题进行归因分析并持续推动问题闭环管理是数据治理解决数据质量问题的手段。以中台数据为抓手,建立覆盖事前、事中、事后的数据质量管控机制,通过数据质量管理,推动企业内部业务数据和流程拉通,提高企业数据的可信度和价值。

3、保障数据安全的共享和应用

随着企业数字化转型工作的开展和推进,企业的数据价值越来越被企业所重视,数据在成为企业核心竞争力资源的同时,也被不法分子或行业竞争对手所关注。来自法律和政策的要求也越来越多,2021年6月,第十三届全国人民代表大会常务委员会第二十九次会议通过《中华人民共和国数据安全法》,企业除了对自身商业秘密,企业还对影响个人权益、国家安全的数据承担保护义务。

传统的信息安全思路,往往希望将数据放在一个封闭的环境中,而数据中台的建设则旨在数据的融合、开放和共享。基于此,实现更精细化的数据安全管控,建立以数据为中心的数据安全体系,是企业实现资产服务化的前提。

数据安全管控是数据治理的关键节点,建立在对数据承载业务的理解,和完整的企业数据资产地图之上,以数据为中心,覆盖采集、传输、存储、共享、使用和销毁全生命周期,保护数据的“保密性”、“完整性”、“可用性”的数据安全管理是数据治理建设和应用的前提。

数据中台是支撑企业数字化转型的基础底座,数据治理则是数据中台建设过程中,夯实数据底座,促进数据共享、保障数据价值和数据安全的基础工作,数据治理支撑数据中台特性,是数据中台建设的有机组成部分。

在这里您可以索取: 白皮书解决方案研究报告

>>

解决方案

白皮书

研究报告


在线沟通