花小钱 办大事:提升数据质量的有效方法

日期: 2012-06-11 作者:Mark Brunelli翻译:曾少宁 来源:TechTarget中国 英文

在改进数据质量过程中,企业通常会购买昂贵的数据管理工具。但是,在全球经济持续下滑的现状下,许多组织并没有足够资金购买和部署这些新工具。   然而,数据质量管理并不仅仅关系到技术。它还关系到人员和过程,而分析表明,通过关注这两个领域,许多组织完全不需要投入大量的资金,就可以实现显著的数据质量改进。

以下是一些在预算较紧张的情况下提高数据质量的技巧:   保证员工理解数据质量低下的影响。根据Gartner分析师Ted Friedman的观点,数据质量问题通常由人为错误造成。例如,呼叫中心员工拼错新客户姓名,然后将它填入客户关系管理应用程序,或者技术人员在填写发票表单时出现错误。   随着这些错误通过……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

在改进数据质量过程中,企业通常会购买昂贵的数据管理工具。但是,在全球经济持续下滑的现状下,许多组织并没有足够资金购买和部署这些新工具。

  然而,数据质量管理并不仅仅关系到技术。它还关系到人员和过程,而分析表明,通过关注这两个领域,许多组织完全不需要投入大量的资金,就可以实现显著的数据质量改进。以下是一些在预算较紧张的情况下提高数据质量的技巧:

  保证员工理解数据质量低下的影响。根据Gartner分析师Ted Friedman的观点,数据质量问题通常由人为错误造成。例如,呼叫中心员工拼错新客户姓名,然后将它填入客户关系管理应用程序,或者技术人员在填写发票表单时出现错误。

  随着这些错误通过工作流、电子邮件和文件共享散播到整个公司,数据质量问题会变得越来越严重。为了解决这个问题,Friedman推荐组织对员工进行定期培训,使之认识数据质量问题可能对业务运营产生的重大影响。

  Friedman说:“大体上,数据质量问题都是由于数据人员的疏忽造成的,他们并没有严格采用高质量方法进行数据录入操作。”但是,他补充说,如果让他们理解数据的重要性,以及他们的行为可能会对数据质量及业务价值产生的影响,那么“可能就会开始影响”他们处理数据的方式。

  通过业务过程弥补数据质量漏洞。另一种改进数据质量的廉价方法是检查一些重要工作流和业务过程。Friedman指出,许多组织经常会发现,有一些“数据质量漏洞”可以通过简单的方法弥补。

  这些漏洞可能存在于一些看似无害的手工过程中。他举例说,客户会通过电子邮件发送一个文件给销售人员,然后他会人工“修改这些数据”,将数据输入到业务应用程序中——这个过程可能会产生数据错误。

  Friedman指出,通过进行与数据质量相关的培训,您就可以为到达的信息设置和实施数据输入标准,从而避免出现这些错误。他建议,另一个改进数据质量的方法是,建立自动加载数据到内部系统的机制,“将人为干预从数据过程剥离。”

  投入资金进行数据质量技能培训。Friedman建议,如果一些组织不具备购买新数据质量平台的预算,那么他们可以考虑投入一些数据管理资金,对处理数据的业务用户进行关于质量技能和最佳实践方法的培训。

  他说:“您需要一些资源——有一些人已经掌握了方法。您需要一些真正理解企业数据流的人员,而且他们还必须理解业务过程使用数据的方式。”然后,这些员工可以协助对其他最终用户进行培训,让他们了解数据质量不佳的缺点。

  学习其他的数据质量成功和失败的经验。在谷歌上搜索“数据质量案例”,搜索结果会包含无数的成功项目案例——通过这些案例,不需要任何费用就可以了解改进组织数据质量的技巧和方法 。

  当然,数据质量改进来源于数据质量问题,这些问题也很值得研究。

  数据管理与分析咨询公司Fitzgerald Analytics的创始人Jaime Fitzgerald提起了一个公司案例。其中,他们在各种系统中识别交易文件的文件出现了问题。这个问题源于一个非常简单的问题:在一个包含20%交易记录的系统中,B值“表示的含义与其他包含80%交易记录的系统完全不同,”Fitzgerald没有意识到它对公司的影响。他说,通过创建一个查找表,校正各个部分的数据值,最终他们把这个问题解决了。

  DBA参与。根据Friedman的观点,如果预算有限,那么在数据质量项目中配备一个合格的数据库管理员(DBA)是非常好的做法。他说,DBA可以编写查询,发现数据存储的模式——这些模式可能会发现数据质量问题的异常值或其他指标。

  Friedman说:“使用简单的SQL查询,就可以实现基本的数据质量测量和数据配置。”例如,DBA可以编写查询,分析数据库字段,生成一些统计信息,如最小值、最大值和不同值出现次数等。

  启动数据管理工作计划。Friedman还强调了为公司所有或各个业务单元指派一个数据管理员的重要性——他们能够理解数据质量问题,可以调解冲突,如特定词汇的意义或有疑问的文件命名规范。数据管理员一般来自组织的业务部门,可以作为业务与IT的联络人。

  他说:“我发现,只要配备了一些关注于数据质量的角色,许多组织就会从中得到很多受益——即使不增加技术或执行后续改变。”

  发现和清理最重要的数据。Fitzgerald指出,许多组织都错误地认为数据质量是一劳永逸的任务,但是它实际上是一个逐步累积的持续过程。他补充说,先关注最重要的数据,然后再逐步扩大范围,这样,企业可以在数据质量投入中获取很大的回报。

  那么,应该从哪些方面开始呢?Fitzgerald说:“但是,从另一个角度看,最重要的数据是能够产生收益的数据。”

  最后,即使对数据质量进行最小的改进,也需要考虑财务或商业问题。根据Friedman和Fitzgerald的观点,任何 数据质量管理方法(无论预算状况如何),都应该具备坚实的支撑条件。这意味着,数据质量团队必须确定测定结果的方法——例如,测试数据质量改进对于业务的影响。

  Friedman说:“您不能只是告诉大家必须改进数据质量,还必须进行测定,说明数据好或坏的方面,以及数据对于业务的影响。”

翻译

曾少宁
曾少宁

TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。

相关推荐