批处理本是大型机时代的主题,近十年来随着Hadoop MapReduce的关注度逐渐增加,批处理现在又重新成为热门主题。但是 Hadoop分布式供应商的高级管理人员认为,Apache Spark和其它流处理架构正在改变现状。 Jack Norris是MapR公司前任首席营销官及现任数据和应用高级副总裁,他认为,随着Apache Spark加入Hadoop,我们将看到更多实时应用和批处理架构,事件流与大数据存储是配套的。 MapR公司与Hortonworks公司、Cloudera公司一起共同打造Hadoop并带来了商业价值。
而现在,Spark Streaming和其它相关技术的出现给大数据应用带……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
批处理本是大型机时代的主题,近十年来随着Hadoop MapReduce的关注度逐渐增加,批处理现在又重新成为热门主题。但是 Hadoop分布式供应商的高级管理人员认为,Apache Spark和其它流处理架构正在改变现状。
Jack Norris是MapR公司前任首席营销官及现任数据和应用高级副总裁,他认为,随着Apache Spark加入Hadoop,我们将看到更多实时应用和批处理架构,事件流与大数据存储是配套的。
MapR公司与Hortonworks公司、Cloudera公司一起共同打造Hadoop并带来了商业价值。而现在,Spark Streaming和其它相关技术的出现给大数据应用带来了变化,这似乎刺激了Hadoop生态系统新一轮的变革。
Spark已经成为了原生Hadoop组件特别有用的补充。 Norris估计MapR的Hadoop分布式用户有一半正在使用Spark,可能用于生产环境的不同场景。
他表示,Spark引发了一连串兴奋点,其中一部分原因是因为MapReduce编程比较困难,在早期MapReduce编程基本就是Hadoop计算的代名词。
“Spark使开发变得相对容易了。它引入了新的API,支持使用Scala和Python编程语言,这样开发应用就更方便了。同时,它还帮助实现了流分析的结构化,”Norris补充道。
Spark可以监视到事件到达并且执行自动聚合和过滤,从而把原始数据转化为有用信息,Spark使这些工作变得更加容易。Norris表示,一些应用由于整体系统限制不得不在批处理模式下工作,但是这种情况正在改变。
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
Cambridge Analytica秘密收集Facebook数据表明对道德数据挖掘的需求
当有关Cambridge Analytica公司秘密收集Facebook数据的消息传出时,这暴露了一个薄弱环节 […]