在项目中开展数据质量和数据治理工作.docx

需积分: 14 131 浏览量更新于2023-03-16 评论收藏 278KB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

【编者按】项目是为创造独特的产品、服务或成果而进行的临时性工作。企业常常通过项目的方式来开发

新产品、解决某特定问题或实现某个具体目标。而现实中许多项目多致力于人力、过程和技术资源的管理，

而忽略了数据和信息方面的问题，直接导致项目结束后遗留大量数据质量问题，甚至直接导致项目失败，

给业务流程和后续项目带来了长期的负面影响。本文作者认为，应将数据质量和数据治理活动作为项目的

必要组成部分进行管理，可以有效提升项目的成功率。

因文章篇幅较长，所以本公号将分多次连载，敬请关注！



公司在项目上投入大量资源。从令人振奋的创新到寻常但必要的改良，公司通过制定项目来开发过

程和实践，以帮助企业解决问题、实现各种目标或把握机遇。显然，项目效率越高，公司成本越低，就越

能尽早利用这些成果生产产品、提供服务，从而增加收入。

一直以来，许多项目都集中精力于人力、过程和技术上。然而，大量的项目仍然未能充分解决数据

和信息方面的问题。许多项目由于这一疏忽而失败了，而另一些项目在结束后则留下了许多潜在的数据质

量问题，这些问题给业务流程和后续项目带来了长期的负面影响。通过使数据质量和数据治理活动成为我

们项目的必要组成部分，我们可以有效提升项目的成功率。

以结构化的方法实施项目称为（软件或系统）开发生命周期，简称 SDLC。本文将研究讨论在系统

开发生命周期的各个阶段中，与信息质量和数据治理有关的关键活动，并映射到一个敏捷 Scrum 方法，

以及为什么这些活动很重要。读者将收获一系列可以纳入任何系统开发生命周期的具体的活动清单，并且

get 到向项目经理和利益相关者清晰传达项目价值的能力。

真正的挑战

首先，我们以 ACME，一个面临真正挑战的虚构公司为例。ACME 是一个保健产品的制造商和分销

商，直接向消费者和杂货店、运动俱乐部此类的经销商销售保健产品，提高在线客户体验是 ACME 的最

高战略之一。作为高级业务经理，帕特尔的首要任务是将强大的销售和服务功能带到 Web 上进行自助服

务。但是，网站目前缺乏与内部系统和流程的集成，因此，在服务不同渠道的应用程序之间存在功能重

复，，导致流程不一致，并产生各种数据问题，使客户和内部员工倍感失望。公司需要跨职能、已整合的

服务和数据。帕特尔计划通过使用新组件逐步修改和替换功能。为了实现这些目标，很有必要推进架构改

进，如集中式 Web 服务、客户身份解析和产品控制、用于报价、跟踪订单和计费。

组织在项目中投入了大量的资源和时间，但许多项目产生的结果却并不理想。

因此，帕特尔启动了一个项目，通过商业智能和分析技术来衡量在线销售、服务结果、网站使用情

况和反馈。BI 使用数据仓库，其中一些是虚拟的。该仓库整合了整个公司的业务数据，并已投产近五年。

一些业务部门已经完全信赖分析师们从虚拟数据仓库和 BI 环境中创造出来的分析报告，其中一些还被用

于政府规定的报告和审计。帕特尔听说在不同的报告中有许多冲突，都在问同样的问题，他不知道如何解

决这些问题。报告缺乏一致性会导致对数据和信息系统的信任下降。除非他能解决数据质量问题，否则这

一问题可能会阻碍提高业务能力的进展，而这些改进能提高公司和消费者的购买经验。

ACME 的领导团队也把制造、库存和订单管理、销售跟踪和财务集成功能的需求放在了首位。问题

是：公司在独立的遗留系统上花费了太多的资源。有些功能已经丢失，而有些功能由于技术本身的限制导

致不可能进行集成。很多系统经过多年的运转已经变得非常脆弱，经常产生各种“坏数据”。底线是遗留系

统不能实现公司需要它实现的功能。该计划包括实施 ERP 应用程序和从独立系统迁移数据。该项目正在

进行中，高级经理辛西娅负责整个项目的成功——从技术实施到业务流程变更到组织影响和接受。

这些情况太普遍了，你可能正面临类似的挑战。这个场景听起来很熟悉吗？你启动项目、选择必要

的工具和供应商、签署合同、选择项目方法、分配业务和技术主题专家（SME）、批准预算并制定时间表、

将人员、流程和技术的各个方面分配到计划中。但是数据和信息呢？你在计划中提到这件事了吗？

当有人注意到这种疏忽的时候，你已经雇佣了程序员和顾问，并已经开始付费。管理层，包括你自

己，急于把这些昂贵的资源投入工作，编写代码来移动和集成数据，即使除了高层报告的要求，根本没有

人知道数据实际上是什么样子。

每天，世界各地的组织（营利、非营利、医疗、教育、政府）都在做类似问题的斗争。他们在项目

中投入了大量的资源和时间，尽管如此，许多项目产生的结果并不理想。通过这份执行报告，我们希望激

励项目团队改进和保护市场绩效，成为积极变革的媒介。

组织、数据和项目

项目的重要成果之一是产生各种数据——在项目实施完成之后，可预见的一段时间之内，你仍然可

以信任的数据。项目的成果不仅仅是搭建一套流程或建立一个系统，而是产生可以让公司决策层做出正确

决策、并采取有效措施的高质量数据。然而在你的日常会议当中，最常见的话题又是什么呢？通常是你将

采购哪些应用软件？供应商是谁？当然，这些话题都很重要，但是，同样需要考虑的重要问题是：公司应

该如何使用这些数据去引导业务、如何调整这些数据以满足新系统的需求。有意识的去关注流程、人员和

技术确实很有必要，但是数据质量和数据治理方面的问题也同样需要关注。

在前面章节我们介绍了 SDLC（软件开发生命周期），这是项目交付最常见的一种结构化方法。但

是，IT 部门使用的各种 SDLC 方法通常都侧重于技术实现（例如：用系统 Y 替代系统 X）、或者交付新功

能界面、业务流程。即使是最全面的 SDLC 方法，往往也会忽略 SDLC 过程中重要的组成部分——数据，

没有给予数据应有的关注和重视。如果在项目中没有明确地强调数据的重要性，那么在项目启动之前，你

认为很有希望、前途的数据需求，最终将会被证明并不存在。

这种情况将导致人们对新技术的不信任，以及产生对“脏数据”的诸多抱怨，而且许多根本原因也难

以得到纠正。这些问题只会导致系统陷入表现不佳、被迫改造、废弃后重新开发的恶性循环，这将极大妨

碍公司提升其完成工作任务的能力。当然，可能你的公司可以会做得更好，也许你已经具备做得更好的基

本要素，那么这份报告将会对你有所启发。另外，我们还得问一个不太常见的问题：“为什么我们在项目

中会经常忽略数据？”



忽略数据的原因

很多公司已经意识到数据的重要性，并觉得很有必要在项目中应该更加紧密地管理好数据。这其中

有两个原因：

（1）认为信息的存在是理所当然的（例如：当我们需要获得信息的时候，它肯定是存在的）；

（2）我们通常会理所当然的假设别人在照顾它（例如：记录在更新、报表在运行、仪表盘也在按

照预定计划在刷新）。通常，我们公开的假设是：数据是“好的”，这是表明它具有良好数据质量的另一种

表达方式。然而，“好的”信息又有哪些衡量标准呢？它意味着：

●我们可以找到我们所需要的数据（我们可以找到它；也可以访问它）；

●当我们需要的时候，它是可获取的（及时的、不推迟）；

●它包含我们所需要的任何数据（不存在任何缺失）；

●当我们看到它时，可以理解它（我们可以解释它）；

●它是准确的（它准确地反映了正在发生的事情，或者曾经在现实世界中发生过什么事情）；

因为所有这一切…

●当我们得到它时，可以信任它；

●在实际工作中，我们可以很放心的使用它；

大多数的公司决策都离不开数据的支撑。前面所说的信息是“好的”只是一个大胆的假设。如果这个

假设让我们失败了，又会发生什么事情呢？在案例“ACME”中，经理们听到了大量的、关于报告错误（不

准确）的抱怨，报告中并没有包含所需的必要数据（存在数据缺失）；或者抱怨报告来得太迟了（不及

时），失去了操作价值。当大家开会时，针对同一个问题通常会有不同的答案——大家都在准备自己提供

的报告进行辩护，但彼此之间的报告数据往往相互矛盾。大家都依赖于定制化的电子表格，多个团队花费

了大量的时间进行重复分析，一年反复若干次，但每次结果却各不相同。相互之间的争论在不断发生，浪

费了大量的时间和金钱。虽然大家付出了很多的努力，但仍然不能做出正确的决策或者由于存在不确定性，

而被迫推迟行动计划。

客户在操作定单系统时，系统显示某些产品目前备有存货，而实际上却处于缺货状态。因此，客户

抱怨他们在下单时，系统为何没有及时通知。这使得公司的客户服务推销员往往士气低落，因为他们首当

其中受到客户不满情绪的负面冲击。一些客户甚至将他们的抱怨发布到脸书和推特网上，在这个实时性很

高的社交化媒体时代，对公司服务不满意的客户、糟糕的决策甚至会对公司最受欢迎的品牌造成严重威胁。

项目开展过程中的错误认知与实际情况

了解与项目相关的一些常见但是错误的观点是有用的，相信这些错误的认知已经导致许多项目失败，因为

项目团队没有考虑其项目计划和预算的实际情况。下面让我们一起来看看这些错误观点、实际的情况以及

对应的解决方案。

错误认知：软件实施是技术项目

实际情况：软件实施是需要与技术团队合作的业务项目。软件实施将改变如何开展业务，它将改变业务流

程，从而影响员工以及支撑流程的数据。

解决方案：成功的软件实施需要由专业的业务、技术、数据人员共同参与。需要通过沟通、培训来帮助组

织适应软件实施多带来的变化。



错误认知：我们不需要担心数据质量的问题，应用将保证数据的准确性。

实际情况：虽然可以构建具备数据质量校验逻辑的应用程序，但有些数据质量问题无法通过校验逻辑来验

证，以下几点是应用程序无法解决的数据质量场景的示例：

 数据的输入与主观选择。输入字段的信息可能因人而异，将地址以四行自由形式的文本的形式来体现是常

见的，其中有一行会分割出来表示分部或者部门。有些人喜欢将分部或者部门信息放在第一行，也有人喜

欢将其放在第二行或者最后一行。数据元素的选择可能取决于产品与产品类别之间的关联，例如：连帽运

动衫可以分为一体衫与夹克衫。这种关联性区分带有一定的主观意识，不同人之间的区分角度不尽一致。

另外一种情况是人们可能会因为误导而做成错误的选择。例如：某字段需要文员来输入某件物品置放在室

内还是户外的数据，如果业务流程操作过程中没有清楚的标记这些信息，那么文员便可能会输入错误的信

息。

 数据迁移或数据转换过程中映射错误。系统可能设定某个数据元素我们只能选取五个值中的一个，但在数

据迁移期间，源系统记录的值有可能被错误的映射为“未知”，例如：即便有规则来限制数据格式与价值的

范围，定义为“批发价格”的列的数据也可能错误的映射到“零售价格”中。

 技术局限性。如果系统不具备支撑某些重要业务规则或者业务过程的能力，那么工作人员就必须做很多的

复杂的操作与计算去实现对业务的支撑，过程中不可避免的会出现一些错误。系统之间的互操作性不足会

导致系统之间的数据在交互之后还需要人为的进行一些调整与更正。

 数据重复。使用应用程序的过程中难以避免会产生重复的数据。一个常见的例子是客户记录，如果工作人

员在创建新的客户数据的过程中不检查是否当前创建的客户数据是否已经维护，就会创建一条新的客户数

据，从而造成数据重复。数据重复是系统在建立几个月或几年后最常见且最难解决的数据质量问题之一。

解决方案：确实，软件应用程序可以通过显示数据定义、上下文的帮助信息以及数据质量规则验证来提高

数据质量，但是验证规则以及帮助信息必须由深刻理解数据定义的人员来设定。这些规则在完成定义后，

必须经过开发与测试的验证以确保可以达到验证数据的目的，提高数据的质量。

高质量的数据取决于经过培训的工作人员对业务流程的管理与执行情况。技术无法告诉我们数据质量的规

则是什么，而一旦我们定义了数据质量的规则，便可通过技术帮助我们去做验证，从而对数据的质量产生

积极的影响。如果我们把数据质量分析与管理引入到项目中，我们就会对关键的数据资产进行适当的处理，

提高系统的交互的友好性，避免严重与代价高昂的问题出现。



错误认知：我们的时间紧迫，没有时间来处理数据的质量问题，后面在加载数据的过程中会对数据进行统

一的清洗。

实际情况：如果不关注数据质量，可能一开始就无法完成数据的加载，也有可能可以完成数据的加载，但

会给业务的持续运营带来一定的风险。

解决方案：在项目期限内尽可能早的关注并处理数据质量的相关事宜。



错误认知：新系统应用所需的数据都存储在旧有系统中，我们要做的是找到这些数据并将其迁移到新的系

统中。

实际情况：任何关于现有数据的描述都是假设，直到可以看到实际的数据并将其与新的数据要求进行比较。

在初步的规划中不可能完全了解现存数据与需求之间的差距。数据分析人员与数据管理员的参与以及投入

将缩小现存数据与需求之间的差距，主要有以下三种情况：

1，现有的数据完全满足新的需求的需要，因此不需要做任何的处理。

2，现有数据需要经过一些调整以满足新的需求的需要，这意味着需要对现有数据进行一定的清洗

（最好是在数据的源头），这可能需要编写代码实现在数据迁移或者集成过程中对数据的清洗与加工。

3，新需求所需要的数据在传统系统中不存在或者质量太差，这意味着必须创建新的数据。在某些

情况下，通过购买数据的方式来弥补数据之间的差距是可行的，但是必须对购买的数据的质量进行充分的

评估，然后才可正确的与内部数据相集成。

在本报告中，我们将“数据准备”作为缩小当前数据质量与所需数据质量之间差距的解决方案。（请参阅边

栏注释“数据准备”）。»

解决方案：在项目过程中，越早开展数据准备相关的活动越好，越快的发现实际数据质量与所需数据质量

之间的差距，便可以越快的获取缩小两者之间差距所需的资源，可以实施缩小差距的解决方案的时间也就

越多。需要注意的是，从头开始创建数据也可能无法确保良好的数据质量，除非，做好需求的识别与记录，

培训并设立专门的数据人员专岗，严格的控制业务流程并在数据迁移之前做好数据的测试工作。

剩余17页未读，继续阅读

soupsea

粉丝: 2
资源: 8

会员权益专享

在项目中开展数据质量和数据治理工作.docx

评论0

会员权益专享

最新资源

在项目中开展数据质量和数据治理工作.docx

评论0

数据治理项目工作手册

XX银行关于制定开展监管数据质量专项治理工作方案的报告.docx

普元大数据治理提高数据质量.docx

数据安全治理课题.docx

大数据架构、高性能、数据治理题目.docx

两个docx文档，1.docx和2.docx，需要将1.docx文档中的页眉页脚复制到2.docx，用java编写，使用开源jar包，比如poi，poi-tl，docx4j等等，请注意验证你提供的代码中的方法，麻烦给我源码。

大数据治理标准体系.docx

raise PackageNotFoundError( docx.opc.exceptions.PackageNotFoundError: Package not found at 'example.docx'

两个docx文档，1.docx和2.docx，需要将1.docx文档中的页眉页脚同步到2.docx，用java编写，使用开源jar包，比如poi，poi-tl，docx4j等等，麻烦给我源码

使用python将xx文件夹下的.sv文件复制到mode.docx文件并另存为.sv文件名的.docx文件

阿里集团数据研发体系-数据模型设计规范.docx

vue使用docx.js加载docx文件

it项目交付清单.docx

软件项目外包合同.docx

docx.oxml.table.ct_tbl

docx.js将docx文件转为html

接口文档示例.docx

docx.js加载docx文件

会员权益专享

最新资源