Hadoop迎来Spark Stream 激发大数据应用新变革

日期: 2016-04-19 作者:Jack Vaughan翻译:冯昀晖 来源:TechTarget中国 英文

批处理本是大型机时代的主题,近十年来随着Hadoop MapReduce的关注度逐渐增加,批处理现在又重新成为热门主题。但是 Hadoop分布式供应商的高级管理人员认为,Apache Spark和其它流处理架构正在改变现状。 Jack Norris是MapR公司前任首席营销官及现任数据和应用高级副总裁,他认为,随着Apache Spark加入Hadoop,我们将看到更多实时应用和批处理架构,事件流与大数据存储是配套的。 MapR公司与Hortonworks公司、Cloudera公司一起共同打造Hadoop并带来了商业价值。

而现在,Spark Streaming和其它相关技术的出现给大数据应用带……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

批处理本是大型机时代的主题,近十年来随着Hadoop MapReduce的关注度逐渐增加,批处理现在又重新成为热门主题。但是 Hadoop分布式供应商的高级管理人员认为,Apache Spark和其它流处理架构正在改变现状。

Jack Norris是MapR公司前任首席营销官及现任数据和应用高级副总裁,他认为,随着Apache Spark加入Hadoop,我们将看到更多实时应用和批处理架构,事件流与大数据存储是配套的。

MapR公司与Hortonworks公司、Cloudera公司一起共同打造Hadoop并带来了商业价值。而现在,Spark Streaming和其它相关技术的出现给大数据应用带来了变化,这似乎刺激了Hadoop生态系统新一轮的变革。

Spark已经成为了原生Hadoop组件特别有用的补充。 Norris估计MapR的Hadoop分布式用户有一半正在使用Spark,可能用于生产环境的不同场景。

他表示,Spark引发了一连串兴奋点,其中一部分原因是因为MapReduce编程比较困难,在早期MapReduce编程基本就是Hadoop计算的代名词。

“Spark使开发变得相对容易了。它引入了新的API,支持使用Scala和Python编程语言,这样开发应用就更方便了。同时,它还帮助实现了流分析的结构化,”Norris补充道。

Spark可以监视到事件到达并且执行自动聚合和过滤,从而把原始数据转化为有用信息,Spark使这些工作变得更加容易。Norris表示,一些应用由于整体系统限制不得不在批处理模式下工作,但是这种情况正在改变。

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

相关推荐