由于运行在廉价服务器集群当中,Hadoop架构为用户提供了接近云计算的扩展能力。通过提供低成本数据处理能力,Hadoop将潜移默化地减缓企业数据仓库增长的速度。同时它还会对大型机现代化领域造成不小影响。
大多数企业都希望限制大型机处理的数据量,从而控制IT成本。同时他们也希望将大型机的运营数据与其他非结构化,半结构化数据联系起来,作为分析使用。举个例子,将酒店房间预约数据与社交媒体评论进行匹配,或者将客户账户数据与呼叫中心客服电话数据匹配。Hadoop在其中能够扮演非常重要的角色,包括控制数据量与数据匹配场景。
在上周举行的Strata + Hadoop World 2013大会上,聚集了大量来自华尔街的数据管理者。能够让他们从繁忙的工作中抽身参加会议的一个重要原因,就是本次大会的议题是如何利用Hadoop来实现大型机的现代化。这些用户不会考虑完全撤掉大型机,因为业务不能有中断。他们要寻找一个应对数据增长的解决方案,如果Hadoop能证明,那么将是不错的选择。
近期,Hadoop领导厂商Cloudera与大型机数据集成厂商Syncsort宣布了合作关系,将大型机数据与Hadoop集群更紧密地联系起来,从而进行大数据分析。此外,MetaScale也宣布推出咨询服务,包括大型机到Hadoop的应用迁移以及使用Pig查询平台运行海量数据查询应用等。MetaScale是西尔斯控股集团的子公司,据西尔斯介绍,他们已经将部分负载迁移到Hadoop平台上,从而成功去除了两台大型机。
Hadoop对遗留应用的意义何在
上述的应用场景对金融、保险行业非常具有吸引力,因为它们是大型机的“重度用户”。在Strata活动的采访当中,Syncsort总裁Josh Rogers表示,将大型机负载逐渐迁移到Hadoop集群当中,这将是未来Hadoop在企业中的一个主要应用场景。
Rogers表示,在数据仓库应用当中,减少ETL操作是迫在眉睫的需求。但事实上有很大一部分的处理任务都会涉及到ETL,大概超过30%。而这些工作负载正是Hadoop的目标负载,能够将加载步骤放到转换之前,将ETL变为ELT。这样做将减少预先的处理过程,当进行转换的时候,Hadoop能够适应高速的数据转换。
与大型机和数据仓库相比,Hadoop集群中的数据存储成本更小。Rogers表示,如果说大型机的每TB存储成本是10万美元的话,那么Hadoop的成本只有1000美元而已。在谈到与Cloudera的合作时,Syncsort CEO Lonne Jaffe表示:“我们为客户提供了一个按钮,你只需要轻轻一按就能摆脱昂贵的负载。”
Jaffe指出,一些大型机现代化项目无疾而终的主要原因是风险和成本太高。即使项目最终成功,用户最终得到的也不过是把应用从一个平台迁移到另一个平台。而在这其中,Hadoop的机会很大。
Hadoop加速大型机现代化
讽刺的是,将一些大型机任务迁移到Hadoop平台上,还能为遗留系统带来新的活力。IT分析师John Webster表示:“用户希望从传统大型机数据源中提取数据,特别是客户数据和交易数据,然后与其他类型的数据进行匹配。这其中Hadoop将起到关键作用。”
因此,客户开始寻找Hadoop发行商来支持大型机数据的重新加载,以便与其他类型数据进行组合。
在大数据时代,数据处理架构每天都在发生变化。因此大型机技术也在经受冲击。面向服务的架构(SOA)将大型机应用包装成Web服务和XML,这是近些年大型机现代化的一个重要发展。Hadoop创新将接过SOA的大旗,进一步加速大型机现代化进程。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
Cambridge Analytica秘密收集Facebook数据表明对道德数据挖掘的需求
当有关Cambridge Analytica公司秘密收集Facebook数据的消息传出时,这暴露了一个薄弱环节 […]