大数据时代呼唤数据管理新思路

日期: 2014-08-07 作者:Jack Vaughan翻译:黄佩 来源:TechTarget中国 英文

近日,数据管理协会(DAMA)2014国际企业级数据大会在美国举行,专家表示,快速增长的数据量和数据供给已经改变了数据管理的现状,随着大数据的不断发展,数据管理者需要换一种心态来管理大数据了。

Robert Abate是家庭生活用纸和消费品制造巨头金佰利集团企业信息管理和分析的全球总监,他在会上说道:“企业信息管理一直在做的就是在对的时间将对的数据传达给对的人,这其中就包括主数据、参考数据以及数据质量和数据治理。”

Abate还表示,数据的传播速度、种类和规模正在给企业带来变革。数据科学家们倾向于强调数据的数量,而并不太在意某些数据质量。数据模式,曾是数据设计的核心,现在却时常被无模式或动态模式架构所替代。

“大数据以及与分析学相结合的数据科学就是获得尽可能多的数据,最终汇聚成数据池(或者说无差别存储数据的存储层),以及通过一些算法对数据进行分析。”但在Abate看来,数据质量将不再是数据管理中最重要的因素。

数据质量退居第二

MatchPoint咨询集团的数据管理咨询顾问、DAMA国际理事会成员Ray McGlew表示,对高质量数据的探求以元数据,为中心,而不是数据本身,比如从数据字典和数据仓库中发掘的数据。随着原始数据容量的快速增长,其灵活性依稀可见。

他还表示,区分不同类型的数据以及对这些数据划分优先级一直都是数据管理职业的一部分。大量的新数据类型使得数据灵活性更为重要。

McGlew举了Twitter和Facebook的数据管理的例子,“在一些重要的额交易,比如银行交易的过程中,你必须掌握真实版本的关键数据。但是在其他的交易活动中,你又必须灵活一点,要更了解数据的本质。”

他说,事实上,我们需要的是对于数据的一个单一版本的定义——元数据。

在有些情况下,“客户”被定义为具有认证账户的个人,比如,银行,但是现在对“客户”的定义更多地是从社交媒体网站信息衍生而来。

McGlew表示,“这样的客户数据没有固定的模式。从客户身上并不能获得单一的数字,但会得到一列数据。”换句话说,我们要做的是趋势分析,而不是对一个数字进行分析。

跳出固有模式?

区别于一般数据架构和蓝图的新的大数据架构给数据分析行业带来了巨大的挑战。所以,其未来如何发展,现在很难说。

Fidelity投资公司的数据分析主管Ian Wood说的很坦诚:“在这方面,我们才刚刚起步。”他积极倡导在采用现有的数据管理工具处理数据一致性之前,要先进性主数据管理。

他表示,考虑到企业的结构化的环境,通往无模式和动态模式方法的道路可能还很漫长。但这一旅途已经开启。

Wood表示:“我们与我们的商业用户进行了探讨,也了解了他们未来的需求。同时也与我们的技术开发团队进行了沟通,悉知了他们对此的看法。但说实话,我真的不知道我们要往什么方向发展。”

他也表示,他的团队将会采取的途径会考虑到组织结构和程式,而不是“仅仅投入到提出技术解决方案。”

不仅仅是Hadoop

在2014年,企业级数据仓库(EDW)领域所兴起的一系列新主题中,就包括了这样一种观点,即大数据不仅仅是从Hadoop中发现的数据。Abate就认为Hadoop仅仅只是一个单纯的“文件存储”。

Abate说,在其能够与关系型数据库技术更好地整合之前,Hadoop仅仅是一个文件存储。Abate之前领导沃尔玛公司的山姆会员店业务,完成了其大数据和商务智能项目,之后他又转而效力金佰利。

在谈到SQL-on-Hadoop工具时,Abate谈到了Impala,他认为:“当‘Impala’的出现使得Hadoop成为数据库时,Hadoop才真正有了价值。”Impala是Hadoop发行版供应商Cloudera公司开发的在Hadoop上运行的Impala SQL 查询引擎。

即使在使用传统数据仓库的情况下,多种多样的数据类型也需要采用新的方法来确保数据质量,他说。在数据管理工作中有一个新的方法,即数据科学家不需要完全了解数据质量,就可以处理大规模数据集。

Abate表示:“直接运行查询,而忽略一些信息,这样就可以很容易地发现异常。也可以查看是否有模式可循,这样可以有效保证数据质量。 ”

这样的观点有人支持,也有人不以为然。多年来,在数据操作世界中,实践者们已经找到了许多管理数据的新方法。在面对更多大数据的情况下,数据的质量和灵活性将是探索更新方法的首要考虑因素。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

相关推荐