数据治理的重要性
随着企业生成和存储的数据量不断增长，数据治理变得越来越重要。数据治理是指对数据资产进行管理、保护和控制的一系列实践。这包括定义数据策略、制定数据标准、实施数据安全措施以及监督数据的使用和质量。
有效的云服务器数据治理可以帮助企业:
- 提高数据质量和准确性
- 减少数据重复和浪费
- 提高数据安全性
- 改善数据决策
- 满足法规遵从性要求
云服务器数据治理蓝图
创建有效的云服务器数据治理计划至关重要。以下是规划蓝图的一些步骤:
1.定义数据策略
数据策略是指导组织如何管理、使用和保护数据的正式文件。它应该概述组织的数据目标、治理标准和数据治理职责。
2. 制定数据标准
数据标准是定义组织的特定数据资产的规则和期望。这包括数据格式、数据命名约定和数据质量标准。
3. 实施数据安全措施
数据安全措施旨在保护数据免遭未经授权的访问、使用、泄露、破坏或修改。这包括实施数据加密、访问控制和入侵检测系统。
4. 监督数据的使用和质量
监督数据的使用和质量对于确保数据治理计划的有效性至关重要。这包括监控数据访问模式、识别数据质量问题并采取纠正措施。
5. 持续改进
数据治理是一个持续的过程。组织应定期审查和更新其数据治理计划，以确保其满足不断变化的需求。
云服务器数据治理的挑战
实施云服务器数据治理计划可能会遇到一些挑战。这些挑战包括:
- 数据量大且复杂
- 数据分散在多个系统和云平台中
- 缺乏对云服务器数据治理最佳实践的了解
- 组织对数据治理的抵制
克服云服务器数据治理的挑战
可以采取一些步骤来克服云服务器数据治理的挑战。这些步骤包括:
- 采用数据治理工具和技术
- 培养对云服务器数据治理最佳实践的理解
- 与组织合作建立数据治理文化
- 制定一个全面且可持续的云服务器数据治理计划
结论
云服务器数据治理对于现代企业至关重要。通过制定一个全面的蓝图，并克服实施挑战，企业可以提高数据质量、减少数据重复、提高数据安全性、改善数据决策并满足法规遵从性要求。
《DAMA-DMBOK2》读书笔记-第3章 数据治理
数据治理和数据管理的关系： 数据治理:保证数据中被管理的。
数据管理:管理数据以达到既定目标。
见下图3-1
以数据为中心的组织对待数据的原则：1)数据应该作为 <fontcolor=red >企业资产管起来</font>。
2)应该在整个组织内 <fontcolor=red >鼓励</font>数据管理的<fontcolor=red >最佳实践</font>。
3)企业数据战略必须与业务<fontcolor=red >战略一致</font>。
4)应不断 <fontcolor=red >改进</font>数据管理 <fontcolor=red >流程</font>。
<font color=green>P48</font>
做正确的事(立法/司法)与正确的做事(执法)。P48
典型数据治理委员会：数据治理指导委员会;数据治理委员会;数据治理办公室;数据管理团队; 本地数据治理委员会。<font color=green>P49</font>
数据治理运营模型类型：集中式治理;分布式治理;联邦式治理。
在 集中式管理模式 中，数据治理组织监督所有业务领域中的活动。
在 分布式管理模式 中，每个业务单元中采用相同的数据治理运营模型和标准。
在 联邦式管理模式 中，数据治理组织与多个业务单元协同，以维护一致的定义和标准。
<font color=green>P49</font>
数据管理职责(Data Stewardship)：描述了数据管理岗位的责任,以确保数据资产得到有效控制和使用。<font color=green>P49</font>
数据管理活动集中于：<font color=red>1.创建和管理核心元数据</font>;业务术语/有效数据值/关键元数据的定义和字 处理。
<font color=red>2.记录规则和标准</font>;业务规则/数据标准/数据质量规则的定义和记录。
<font color=red>3.管理数据质量问 题;4.执行数据治理运营活动</font>。
<font color=green>P49</font>
数据管理岗位的类型：首席数据管理专员;高级数据管理专员;企业数据管理专员;业务数据管 理专员;数据所有者;技术数据管理专员;协调数据管理专员。
<font color=red>通常最好的数据管理专员都是在 工作中被发现的，而不是靠培养的</font>。
大多数组织中,即使没有数据治理项目,也有人负责数据管理。
<font color=green>P50</font>
数据制度:包括对数据治理管理初衷的简要说明和相关基本规则，贯穿数据和信息的全过程，是全 局性的。
不同组织制度差异大，描述了数据治理的==“什么“==，标准和规程描述了数据治理的==”如何“==。
<font color=green>P51</font>
数据资产评估:理解和计算数据对组织的经济价值的过程。
数据具有不可互换性，只有在使用时才有价值，使用会伴随风险。
<font color=green>P51</font>
数据生命周期的大多数阶段涉及成本:包括获取数据、存储、管理和处置。<font color=green>P51</font>
其他度量价值的方式：<font color=red>1 替换成本;2 市场价值;3 发现商机;4 售卖数据;5 风险成本</font>。<font color=green>P51-52</font>
风险成本有：1.<font color=red>缺少必要的数据</font>。
2.存在<font color=red>不应留存</font>的数据。
3.除上述成本外，包括数据不正确造成 客户、公司<font color=red>财务和声誉</font>受到<font color=red>伤害</font>。
4.风险下降或风险成本的下降，其实是与提升和验证数据等操作干预成本的抵消之后的<font color=red>溢出部分</font>。
<font color=green>P52</font>
数据资产会计准则：问责原则;资产原则;审计原则;尽职调查原则;持续经营原则;估值级别 原则;责任原则;质量原则; 见下表3-6
数据治理(Data Governance，DG)：对数据资产管理行使权力、控制和共享决策(规划/监测 和执行)的系列活动。<font color=green>P43</font>
数据治理<font color=red>职能</font>：是指导所有其他数据管理领域的活动。<font color=green>P43</font>
数据治理的<font color=red>目的</font>：是确保根据数据管理制度和最佳实践正确地管理数据。<font color=green>P43</font>
数据管理的<font color=red>整体驱动力</font>：是确保组织可以从其数据中<font color=red>获得价值</font>；数据治理聚焦于<font color=red>如何制定有关数据的决策,以及人员和流程在数据方面的行为方式</font>。<font color=green>P43</font>
数据治理项目的范围和焦点依赖于组织需求，常见有：<font color=red>1)战略。
2)制度。
3)标准和质量。
4)监督。
5)合规。
6)问题管理。
7)数据管理项目。
8)数据资产估值</font>。
<font color=green>P43</font>
对于多数企业,采用正式的数据治理需要进行组织变革管理(参见第17章),以及得到来自最高层管理者(C级别)的支持,如CRO、CFO或者CDO。 <font color=green>P44</font>
为了实现这些目标，数据治理时将制定制度和实施细则，在组织内多个层次上实践数据管理，并 参与组织变革管理工作，积极向组织传达改进数据治理的好处以及成功地将数据作为资产管理 所必需的行为。<font color=green>P44</font>
数据治理目标:1 <font color=red>提升</font>管理数据资产的<font color=red>能力</font>;2 <font color=red>定义、批准、沟通和实施</font>数据管理的<font color=red>原则、政策、 程序、指标、工具和责任</font>;3 <font color=red>监控和指导</font>政策合规性、数据使用和管理活动。<font color=green>P44</font>
有效的数据治理应具有以下特征：1 可持续发展;2 嵌入式的，而不是附加的管理流程;3 可度量。<font color=green>P46</font>
数据治理基础原则：<font color=red>(1)领导力和战略</font>;成功的数据治理始于远见卓识和坚定的领导。
数据战略指导数据管理活动，同时由企业业务战略所驱动。
<font color=red>(2)业务驱动(Business-driven)，</font>数据治理是一项业务管理计划，因此必须管理与数据相关的 IT 决策，就像管理与数据有关的业务活动一样。
<font color=red>(3)共担责任(Shared Responsibility)，</font>在所有数据管理的知识领域中，业务数据管理专员和数据管理专业人员共担责任。
<font color=red>(4)多层面(Multi-layered)，</font>数据治理活动发生在企业层面和各地基层，但通常发生在中间各层面。
<font color=red>(5)基于框架(Framework-based)，</font>由于治理活动需进行跨组织职能的协调，因此对数据治理项目必须建立一个运营框架来定义各自职责和工作内容。
<font color=red>(6)原则导向(Principle-based)，</font>指导原则是数据治理活动、特别是数据治理策略的基础。
<font color=green>P46</font>
业务驱动因素:常见是法规遵从性；高级分析师、数据科学家的迅猛发展也成为新增的驱动力；很多组织的数据治理是通过其他业务信息化管理需求所驱动的；聚焦减少风险和改进流程。<font color=green>P45</font>
<font color=red>减少风险</font>： 1.一般性风险管理;2.数据安全;3.隐私;<font color=green>P45</font>
<font color=red>改进流程</font>： 1.法规遵从性;2.数据质量提升;3.元数据管理;4.项目开发效率;5.供应商管理;<font color=green>P45</font>
数据治理 不是一次性 的行为。
治理数据是一个<font color=red>持续性的项目集</font>,以保证组织一直聚焦于能够从数据获得价值和降低有关数据的风险。
可以由一个<font color=red>虚拟组织</font>或者有特定职责的<font color=red>实体组织</font>承担数据治理的责任。
<font color=green>P45</font>
要考虑<font color=red>组织和文化</font>的独特性问题，还有内部要面对的<font color=red>具体挑战和机遇</font>。
<font color=red>数据治理要与 IT 治理分开</font>。
<font color=green>P45</font>
==(A 执行就绪评估。
B 探索与业务保持一致。
C 制定组织触点。
)(触点:突破口、价值点、抓手、切入点·)==
1. 执行就绪评估：典型的评估包括:1) 数据管理成熟度 。
了解 组织对数据的处理方式;衡量其当前的数据管理能力和容量。
重点是业务人员对公司管理数据和 利用数据的优势以及客观标准(如工具的使用、报告级别等)的印象 2) 变革能力(识别阻力点) 。
数据治理需要行为上的改变，因此测量组织为适应数据治理所需而改变行为的能力非常重要。
3) 协作准备度 。
体现了组织在管理和使用数据方面的协作能力。
如果某个组织对于如何协作无从下手，那么这样的企业文化将成为管理的障碍。
4) 与业务保持一致 。
通过业务一致性能力评估可以 检查组织如何调整数据的使用来支持满足业务战略要求。
<font color=green>P53</font>
2.探索与业务保持一致： 数据治理项目必须能够被找到并提供 特定的价值来为组织作出贡献。
例如，减少监管机构的罚款。
通过评估识别和评价现有制度/方 针的有效性，找到特定的价值。
关键评估:数据质量分析。
<font color=red>数据管理实践的评估。
</font><font color=green>P54</font>
3.制定组织触点 (治理介入点)： 1.采购和合同。
2.预算和资金。
3.法规遵从性。
/开发框架。
==(触点: 突破口、价值点、抓手、切入点·)== 首席数据官影响组织触点，支持企业在管理其数据时的凝聚 力，也会增加企业使用数据的敏捷性。
<font color=red>从本质上来讲，这是组织如何理解和看待数据治理的一个态度</font>。
<font color=green>P55</font>
数据治理战略定义治理工作的范围和方法。
交付物：章程。
运营框架和职责。
实施路线图。
为成 功运营制订计划。
1.定义数据治理运营框架：需要考虑:<font color=red>1 数据对组织的价值。
2 业务模式(分散/集中、本地化与国际化)。
3 文化因素。
4 监管影响</font>。
<font color=green>P55</font>
2.制定目标、原则和制度： 由<font color=red>【数据管理专业人员】、【业务策 略人员】</font>，在<font color=red>【数据治理组织】</font>的支持下共同起草数据治理的目标、原则和制度，然后由<font color=red>【数据管理专员】和【管理人员】</font>审查并完善，最后由<font color=red>【数据管理委员会】</font>终审、修订和发布。
【数据治理办公室 DGO】认证确认组织用到的数据，批准成为业务拥有者。
【业务拥有者】在其业务领域委派【数据管理专员】。
【数据管理专员】的日常职责是协调数据治理活动。
<font color=green>P56</font>
3.推动数据管理项目： 数据治理委员会负责定义数据管理项目的 商业案例，监督项目状态和进度。
数据管理项目可视为整个IT项目组合的一部分。
数据治理委员会还可以与企业范围内的大型项目集配合开展数据管理改进工作。
关键：<font color=red>阐明数据管理提高效率和降低风险的方法</font>。<font color=green>P57</font>
4.参与变革管理： <font color=red>组织经常面临管理项目上的变迁，而不是管理组织体系进化。
</font>成熟的组织在变革管理中建立清晰的组织愿景，从高层积极引导和监督变革，设计和管理较小的变革尝试，再根据整个组织的反馈和协同情况调整变革计划方案。
<font color=green>P57</font>
组织需要组建一个团队来负责：1)规划。
2)培训。
3)影响系统开发。
在 SDLC 中增加数据治理步骤。
4)制度实施。
5)沟通。
<font color=green>P58</font>
沟通重点放在： <font color=red>1)提升数据资产价值</font>。
教育和告知员工数据在实现组织目标中所起的作用。
<font color=red>2)监控治理活动的反馈并采取行动</font>。
除了共享信息外，通过沟通计划还应引导出相关方反馈，以指导数据 治理方案和变更管理过程。
<font color=red>3)实施数据管理培训</font>。
<font color=red>4)在 5 个关键域衡量</font>。
1==意识==到需要改变。
2 希望==参与==并支持变革。
3==知道==如何改变。
4==具备==实施新技能和行为的能力。
5保持==持续==变革。
<font color=red>5) 实施新的指标和 KPI。
</font> <font color=green>P58</font>
5.参与问题管理： 问题管理是识别、量化、划分优先级和解决与 数据治理有关问题的过程：1)授权。
2)变更管理升级。
3)合规性。
4)冲突。
5)一致性。
6) 合同。
7)数据安全和身份识别。
8)数据质量。
<font color=green>P58</font>
开展数据治理需要在以下方面建立控制机制和流程：1)识别、收集、记录和更新的问题。
2)各 项活动的评估和跟踪。
3)记录利益相关方的观点和可选解决方案。
4)确定、记录和传达问题解 决方案。
5)促进客观、中立的讨论，听取各方观点。
6)将问题升级到更高权限级别。
<font color=green>P58-59</font>
80%-85%的问题在业务单元数据治理、数据管理团队中解决。
20%在数据治理委员会解决。
5%升 级到数据治理指导委员会解决。
<font color=green>P59</font> 见下图3-7
6.评估法规遵从性要求： 合规性通常是实施数据管理的初始原因。
对管理信息资产有重大影响的部分全球性法规：1)会计准则。
==2)BCBS 239(巴塞尔银行监管委 员会)和巴塞尔 II。
==3)CPG 235。
==4)支付卡行业数据安全标准 PCI-DSS==。
5)偿付能力标准 II。
6)隐私法。
数据治理监控组织要对涉及数据和数据实践的监管要求或审计承诺作出响应，如在 监管报告中证明数据质量合格。
<font color=green>P59</font>
最佳方式是创建一个实施路线图。
有些数据治理工作是基础性，可分为初始阶段和持续阶段。
高优先级的前期工作有：1)<font color=red>定义</font>可满足高优先级目标的数据治理流程。
2)建立业务术语表，记录术语和<font color=red>标准</font>。
3)协调企业架构师和数据架构师，<font color=red>帮助理解</font>数据和系统。
4)为数据资产<font color=red>分配财务价值</font>，以实现更好的决策，并提高对数据在组织成功中所起作用的理解。
【流程。
术语。
人。
赋值。
】<font color=green>P60</font>
1.发起数据标准和规程： 数据标准通常由【数据管理专业人员】起草， 应由【数据治理办公室或授权工作组】(如数据标准指导委员会)审查、批准和采用。
数据标准必须得到有效沟通、监控，并被定期审查和更新。
最重要的是，必须有强制手段，对数据可以根据标准进行测量。
数据管理活动可由【数据治理委员会】或【数据标准指导委员会】按照规定的时间表或作为 SDLC 批准流程的一部分进行审核，以确保符合标准。
通常由【数据管理专业人员】 来起草数据流程文档。
<font color=green>P61</font>
标准被定义为“用来判断其他事物质量的好东西”或“由权威建立和确定,作为衡量数量、重量、范围、价值或质量的规则”。
通过采用标准,组织只需做一次决定,并将其编成一组实施细则(标准),而不再需要为每个项目重新做出相同的决定。
<font color=green>P61</font>
“标准”在组织内部和跨组织变化很大,对一致性的期望也是如此。
数据治理的标准应该具有强制性。
<font color=green>P61</font>
数据标准应由数据治理办公室或授权工作组(如数据标准指导委员会)审查、批准和采用。<font color=green>P61</font>
2.制定业务术语表： 数据管理专员通常负责整理业务术语表的内容。<font color=green>P61</font>
业务术语表具有如下目标：1)对核心业务概念和术语有<font color=red>共同的理解</font>。
2)<font color=red>降低</font>由于对业务概念理 解不一致而导致数据<font color=red>误用风险</font>。
3)<font color=red>改进</font>技术资产(包括技术命名规范)与业务组织之间的<font color=red>一致性</font>。
4)最大限度地<font color=red>提高搜索能力</font>，并能够获得记录在案的组织知识。
【共同理解。
降低风险。
一致性。
可搜索能力】 <font color=green>P61</font>
3.协调架构团队协作： 【数据治理委员会】支持并批准数据架构。
应由数据架构师和数据管理专员在业务领域团队中共同开发和维护企业数据模型。
根据组织情况的不同,可以由企业数据架构师或数据管理专员协调这项工作。
<font color=green>P62</font>
企业级数据模型应经【数据治理委员会】评审、批准并正式采用，与关键业务战略、流程、组织和系统保持一致性。
数据战略和数据架构是在“做正确的事”和“正确的做事”之间协调的核心。
<font color=green>P62</font>
4.发起数据资产估值：【数据治理委员会】应组织开展数据资产估值工作，并为此设置标准。<font color=green>P62</font>
信息缺口——所需信息和可用信息之间的差异——代表业务负债。
弥补或防止差距的成本可用于估算数据丢失的业务价值。
参考这个思路,组织可以开发模型来评估实际存在信息的价值。
<font color=green>P62</font>
将治理活动嵌入到数据作为资产管理相关的一系列流程中。
可持续性意味着采取行动，保证流程和资金到位，以确保可持续地执行数据治理组织框架。
通常为了加深组织对数据治理的理解，可通过其本地应用创建一个感兴趣的数据治理社区来加强相互学习。
<font color=green>P62</font>
数据治理的工具和方法：<font color=red>数据治理流程必须有效管理自己的工作和数据。
</font>线上应用/网站。
业务术语表<font color=red>(业务术语表是数据治理的核心工具)</font>。
工作流工具。
文档管理工具。
数据治理计分卡。
<font color=green>P63</font>
数据治理成功与否的度量指标： (1) 价值： <font color=red>1.对业务目标的贡献。
2.风险的降低。
3.运营效率的提高。
</font> (2) 有效性：1.<font color=red>目标的实现</font>。
2.<font color=red>扩展</font>数据管理专员正在使用的相关<font color=red>工具</font>。
3.<font color=red>沟通的有效性</font>。
4.<font color=red>培训的有效性</font>。
5.<font color=red>采纳变革的速度</font>。
(3) 可持续性：1.制度和流程的<font color=red>执行情况</font>(即它们是否正常工作)。
2.标准和规程的<font color=red>遵从情况</font>(即员工是否在必要时遵守指导和改变行为) <font color=green>P65-66</font>
数据治理实施指南：定义规程/运营计划——>实施路线图——>启动治理。
一般始于重大项目、 试点、渐进式。
<font color=green>P64-65</font>
有效而持久的数据治理：需要<font color=red>组织文化的转变和持续的变革管理</font>，文化包括<font color=red>组织思维和数据行为</font>， 变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。<font color=green>P65</font>
管理和沟通变更工具：<font color=red>业务战略/数据治理治理蓝图。
数据治理路线图。
数据治理的持续业务案例。
数据治理指标</font>。
<font color=green>P65</font>
数据治理怎么做？看看这个大型集团数据治理规划项目案例！
数据治理已成为企业竞争力的核心，大型集团深铁集团为推动数字化转型，2021年启动了一项里程碑式的数据治理项目。
该项目旨在构建一个高效且符合集团特性的数据管理体系，以解决数据孤岛、标准不一等问题。
接下来，我们将通过深铁集团的数据治理规划，探讨实施策略和成果。
深铁集团，作为深圳市国资委的直属企业，致力于打造一流的轨道交通体系。
在数据治理的实施过程中，首先对集团的数据现状进行了全面梳理，包括数据规模、业务范围和资产目录。
为解决数据问题，项目明确了以“看得清”、“管得住”、“用得好”为目标，通过问卷调研和行业对标，识别出数据治理的关键问题和提升空间。
具体措施上，项目设计了“1+3+1”数据治理蓝图，包括数据资产目录、数据管理体系、数据技术体系、数据应用与服务体系以及数据支撑平台。
通过数据资产管理总纲和标准管理规范的编制，以及数据资产目录的梳理，确保数据的规范管理和资产化应用。
应用效果方面，深铁集团推进了数据资产可视化管理，通过数据资产目录管理系统提高数据管理效率；数据标准治理方面，统一了核心主数据，促进跨部门数据共享；大数据平台的优化建设，加强了内部数据集成与外部数据共享能力，提升了整体数据质量。
通过这个案例，我们可以看到大型集团深铁是如何通过系统性的数据治理规划，实现了数据价值的提升和业务运营的优化。
数据治理8种方法
数据治理套路8种方法，其中监管驱动法和利益驱动法是常见方式。
未来数字时代，体系构建、价值驱动、技术支撑和监管强制治理并用更完美。
具体方法包括：1. 顶层设计法：先规划数据治理蓝图，按计划执行。
好处是结构清晰，但实施成本高，见效慢。
政府和少数大企业成功采用。
2. 技术推动法：技术部门主导，从技术角度解决问题。
方法常见，但效果一般，因为仅关注技术层面问题，无法解决系统性问题。
3. 应用牵引法：以应用为驱动，反向要求高质量数据供给。
有助于数据治理体系建设，但局限于有应用的领域。
4. 标准先行法：在信息化建设中同步建立数据标准。
这种方式下，数据治理技术活儿，无需过多考虑人为因素，数据质量有保障。
5. 监管驱动法：上级单位政策驱动，下级单位执行，对数据治理有明确要求，且违规有惩罚。
在金融等行业普遍采用。
6. 质量控制法：从质量管理体系演化而来，问题导向，需制定明确的目标、标准、规则。
通过改进技术、流程、制度等解决问题。
7. 利益驱动法：通过共享利益、成就导向，激励核心人员参与。
操作方式多样，易于推动。
8. 项目建设法：实施数据治理项目，全面覆盖数据流程。
结合咨询和实施，根据战略和现状规划项目，逐步建设高质量数据基础设施。
