企业级Hadoop需要和现存的进程结合起来

日期: 2013-07-25 作者:Jack Vaughan翻译:陈洪钰 来源:TechTarget中国 英文

Hadoop分布式文件系统要想成为企业级Hadoop,还有很长的路要走,而它的确在朝这个终点进发。

在上个月在美国加州圣何塞举行的Hadoop 2013峰会上,很多行业的IT领导者都表示开始使用开源的Hadoop群集很容易,但接下来就变得困难了。对那些打算将Hadoop应用从试验转向实际企业运营的用户,他们给出了指导意见。

在“现实世界在企业中洞察Hadoop”研讨会上,与会者表示,使用者开始时应该小范围使用,准备引入培训师,事先考虑好multipetabyte Hadoop输出如何融入到运营和常规分析工作流中来。

一家大型零售商的IT经理表示,对Hadoop应用的蜂拥而上,带来了很多问题。

Ratnakar Lavu是位于美国密尔沃基的科尔百货商店的高级副总裁,负责数据创新,同时也是这次研讨会的成员。他表示:“现在的情况很让人担忧。你听到的都是Hadoop能够解决的问题,你获得全部这些数据,然后就试图解决你能想到的所有问题。”

Lavu说他的团队很早就认识到小规模使用是很好的起点。

他说:“(Hadoop)是一个全新的处理问题的方式。所以要从自己能够掌控的小处着手。这是一个学习的过程。”

Lavu还告诫即将使用企业级Hadoop的用户,不要去解决“已经解决了的问题”。不需要只是为了改变平台就把现存的报告再用Hadoop做一遍。

程序员在顶级网站像 Yahoo, Google, Facebook and Twitter上做出的一流的系统使Hadoop分布式文件系统增加了吸引力。

然而,要将这项技术移植到企业运营,却需要另外的技术。即使是Salesforce.com这样的网站都在移植Hadoop到支持公司业务线决策的时候吃了亏。

Salesforce的商务智能工程师Ramesh Koteshwar表示:“提起Hadoop,人们想到的往往只是数据——多大的数据啊!但当你添加了越来越多的用户,你也不得不从计算(要求)的角度考虑。这不仅仅是存储。”

他预言,以后会有相当一部分劳动力对从Hadoop获得的数据产生疑问。“我们我们预计Hadoop群集会有成百上千的用户。”

他表示,安全启用是把Hadoop扩展到企业应用的一个环节。Hadoop在Salesforce.com和其他地方的应用仍停留在探索的阶段,通道和认证仍是通向企业部署的道路上必须要翻越的障碍。

Koteshwar表示:“当你要把Hadoop产品化的时候,你需要事先考虑清楚。当你真的想要把它带进企业的时候,你需要确保在Hadoop群集面前的,是业已形成的安全策略和流程。”

Ratnaka Lavu也持相同的意见,他认为让Hadoop系统适应全部的企业是很重要的。“这涉及到构建正确的流程,正确的系统,数据供应和用户培训与采纳,这些细节是保证我们成功的关键。”

一位研讨会的与会者表示,Hadoop早期的发展,有很多值得借鉴的东西,至少一些边缘工作已经完成了。这预示着,在更多的数据基础架构就位后,进入Hadoop完全有利可图。

Hadoop峰会与会者Neeraj Kumar表示:“今天创始者的工作对我们大有裨益。我们一定要构建很多专门的程序和解决方案,只是因为之前Hadoop的版本没有这些东西。”

Kumar是美国俄亥俄州Cardinal Health的副总裁,负责企业体系结构,他也认为团队应该在开始的时候小规模使用Hadoop,并发现在公司具有全新功能的用例。

他说:“你还需要掌握自己公司的人才基础”,并表示Hadoop会严重分解现存人才基础,并创造鉴定新的人才基础的需要。

他建议数据管理者尽早开始考虑Hadoop培训事宜。他表示,你可以求助咨询顾问,但你最好有自己的相关人才。未来Hadoop的操作者在做决策的时候,一定要有这个意识。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。