大数据项目将帮助企业打破数据孤岛

日期: 2014-04-16 作者:Jack Vaughan翻译:孙瑞 来源:TechTarget中国 英文

开源Apache Hadoop以及NoSQL数据库技术的创新使得IT系统的蔓延不断加速,对于已经在努力打破多个数据孤岛的管理者来说,大数据时代又为他们带来了新的挑战。对于这一问题,来自Think Big Analytics公司的联合创始人Ron Bodkin看的更清楚。这是一家专注于Hadoop生态系统,机器学习以及大数据实时查询等技术的咨询服务提供商。为此TechTarget记者对Ron Bodkin进行了专访,看看他对大数据有什么样的新鲜看法。以下为本次采访实录:

在您看来,企业部署Hadoop的一个情况是怎样的?

Ron Bodkin:Hadoop应用总结起来有以下几个范畴。一些用户使用Hadoop是为了控制成本,因为有些数据是传统数据仓库环境下无法处理的,特别是在成本方面。因此有不少公司部署首个Hadoop项目时考虑的是成本优化。

举个例子来说,对于一年之内的详细数据、原始数据或者日志中的事件级别数据,很多企业是没法全部保存的。因此在以往的传统环境中,分析这些数据是不可能的。而现在他们想要分析网站的点击流数据,希望深入挖掘隐藏在消费者之中的购买模式。如果在企业数据仓库中做这样的分析,你会发现它非常昂贵,没有几个公司能负担的起。

于是人们开始想要把这部分工作负载从数据仓库中提取出来,放到Hadoop里来做。而作为回报,企业能够拥有更广泛的数据池,更活跃的数据归档,能够做更深入的分析。

我们看到客户运行了一系列的数据库产品,包括Oracle,Teradata,Netezza,Vertica等等,他们希望能把数据准备的负载转移到数据库之外。我们也看到其他一些客户在大型机上做这样的数据处理,他们也希望能把负载转移到Hadoop上,因为这样更具有成本效益,而且在大型机上能用Cobol语言处理这样负载的人已经不太好招了。

会不会有这样的情况,在取得部门级的成功之后,企业会希望把Hadoop整合到企业整体的IT系统当中?

Bodkin:没错。一旦企业获得部门级的成功,他们肯定会想要进行集中化管理,因为大数据的价值在很大程度上能够打破孤岛的情况。也就是说能够通过新的形势来将不同的数据集整合到一起。因此针对此前不同的数据库支撑不同应用的情况,现在企业已经拥有了更通用的数据存储形式,也有了新的方法来获得深入的洞察,从而为多个业务部门服务。

我们所看到的一些成功案例中,很多是跨部门团队先进行头脑风暴,找到使用数据和分析数据的方式。他们会总结出一套路线图,指导企业向以数据为驱动的方式转型,然后再制定具体的项目计划。这样企业就能够为消费者提供更好的产品,能够更好地检测欺诈行为从而规避风险。企业能够在传统交易数据流的基础之上,驾驭更多的数据类型,比如文本数据以及社交数据。

不只是Hadoop,还有NoSQL。企业在选型的时候会不会误入歧途,而选择了错误的解决方案?

Bodkin:当然有这样的情况。对于NoSQL的理解也有一定的范畴。当需要大规模可扩展的批量分析任务时,人们会选择NoSQL数据库。但通常这种情况下,NoSQL数据库的支持并不好。人们选择一个工具的时候会想用它来应对多个任务,而事实上他们需要多种不同的技术才能把这些任务处理好,对于NoSQL来说也是如此。而在部署了Hadoop之后,客户会发现他们需要一个NoSQL数据库来应对低延迟的数据访问。

那么企业是否需要一个数据科学家来负责这部分工作呢?大数据的普及能否真正给业务用户带来便利?

Bodkin:我认为Hadoop和大数据分析能带来一系列的好处。客户可以回答一些以往无法解决的问题,虽然还没有达到数据科学的高度。因此无论分析师还是业务用户都能够从大数据中获益,将更多可用的数据放到一起,可以回答更多的业务问题。一旦做到这一点,就可以考虑进行数据科学并作更深入的分析了。

对于许多企业来说,他们大数据之旅的第一步就是通过数据获得更快速的洞察,然后才会上升到数据科学的高度。很多时候企业有这样的误区,他们必须一步到位直接做预测分析。很多工作其实开始都是获得最基础的洞察, 随着企业运用大数据方法的不断深入成熟,才可以实现自动化与预测分析。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

孙瑞
孙瑞

相关推荐