Hadoop在大型机迁移时代扮演的角色

日期: 2013-11-11 作者:Jack Vaughan翻译:孙瑞 来源:TechTarget中国 英文

由于运行在廉价服务器集群当中,Hadoop架构为用户提供了接近云计算的扩展能力。通过提供低成本数据处理能力,Hadoop将潜移默化地减缓企业数据仓库增长的速度。同时它还会对大型机现代化领域造成不小影响。

大多数企业都希望限制大型机处理的数据量,从而控制IT成本。同时他们也希望将大型机的运营数据与其他非结构化,半结构化数据联系起来,作为分析使用。举个例子,将酒店房间预约数据与社交媒体评论进行匹配,或者将客户账户数据与呼叫中心客服电话数据匹配。Hadoop在其中能够扮演非常重要的角色,包括控制数据量与数据匹配场景。

在上周举行的Strata + Hadoop World 2013大会上,聚集了大量来自华尔街的数据管理者。能够让他们从繁忙的工作中抽身参加会议的一个重要原因,就是本次大会的议题是如何利用Hadoop来实现大型机的现代化。这些用户不会考虑完全撤掉大型机,因为业务不能有中断。他们要寻找一个应对数据增长的解决方案,如果Hadoop能证明,那么将是不错的选择。

近期,Hadoop领导厂商Cloudera与大型机数据集成厂商Syncsort宣布了合作关系,将大型机数据与Hadoop集群更紧密地联系起来,从而进行大数据分析。此外,MetaScale也宣布推出咨询服务,包括大型机到Hadoop的应用迁移以及使用Pig查询平台运行海量数据查询应用等。MetaScale是西尔斯控股集团的子公司,据西尔斯介绍,他们已经将部分负载迁移到Hadoop平台上,从而成功去除了两台大型机。

Hadoop对遗留应用的意义何在

上述的应用场景对金融、保险行业非常具有吸引力,因为它们是大型机的“重度用户”。在Strata活动的采访当中,Syncsort总裁Josh Rogers表示,将大型机负载逐渐迁移到Hadoop集群当中,这将是未来Hadoop在企业中的一个主要应用场景。

Rogers表示,在数据仓库应用当中,减少ETL操作是迫在眉睫的需求。但事实上有很大一部分的处理任务都会涉及到ETL,大概超过30%。而这些工作负载正是Hadoop的目标负载,能够将加载步骤放到转换之前,将ETL变为ELT。这样做将减少预先的处理过程,当进行转换的时候,Hadoop能够适应高速的数据转换。

与大型机和数据仓库相比,Hadoop集群中的数据存储成本更小。Rogers表示,如果说大型机的每TB存储成本是10万美元的话,那么Hadoop的成本只有1000美元而已。在谈到与Cloudera的合作时,Syncsort CEO Lonne Jaffe表示:“我们为客户提供了一个按钮,你只需要轻轻一按就能摆脱昂贵的负载。”

Jaffe指出,一些大型机现代化项目无疾而终的主要原因是风险和成本太高。即使项目最终成功,用户最终得到的也不过是把应用从一个平台迁移到另一个平台。而在这其中,Hadoop的机会很大。

Hadoop加速大型机现代化

讽刺的是,将一些大型机任务迁移到Hadoop平台上,还能为遗留系统带来新的活力。IT分析师John Webster表示:“用户希望从传统大型机数据源中提取数据,特别是客户数据和交易数据,然后与其他类型的数据进行匹配。这其中Hadoop将起到关键作用。”

因此,客户开始寻找Hadoop发行商来支持大型机数据的重新加载,以便与其他类型数据进行组合。

在大数据时代,数据处理架构每天都在发生变化。因此大型机技术也在经受冲击。面向服务的架构(SOA)将大型机应用包装成Web服务和XML,这是近些年大型机现代化的一个重要发展。Hadoop创新将接过SOA的大旗,进一步加速大型机现代化进程。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

孙瑞
孙瑞

相关推荐