NoSQL人气高涨 Spark功不可没

日期: 2016-05-25 作者:Jack Vaughan翻译:张亮亮 来源:TechTarget中国 英文

近年来,由于NoSQL数据库出现并用于处理大规模数据扩展,在线事务处理技术不断变化。同时,随着Hadoop和Spark的出现,经典分析模式被逐渐打破。

如今,应用程序来利用这些技术在大规模事务系统上创建接近实时的分析。尤其是接入NoSQL系统的Spark连接器正变得越来越普遍。

“就是我们正在用操作系统和分析系统改变我们正在做的事情,”分析师Mike Ferguson在上周Dataversity举办的一个讨论会上说。

Ferguson是位于一位英国的经营智能商业策略的总经理,他分享了将Spark与来自Basho Technologies的关键值Riak NoSQL数据存储相连,通过这种方法来对Web和移动数据的分析进行加速。

和Aerospike,Couchbase,DataStax,Redis Labs以及其他竞争对手一样,Basho也因此目的而涉足Spark连接器。

操作分析

Ferguson说把NoSQL和Hadoop以及Spark进行结合为他所谓的“操作分析”奠定了基础,相比起过去的分析系统,该系统不需要整夜都进行批处理任务。

多年来,关系型数据库都处于操作和分析系统之间循环的末端。但是随着Web和移动应用程序开始需要可扩展性(这种特性是通过运行分布式计算机集群获得的),情况就开始改变了。对于数据处理来说,页面是一回事,而移动又是另一回事。

通过移动接入事务系统,并发用户量激增到了前所未有的水平。这使得团队要去尝试新的架构,而Spark则已经成为一个有力的竞争者。

Ferguson指出Spark和其他产品一样虽然通常是运行在Hadoop上,但是并不局限于Hadoop存储。它还可以访问关系型数据存储以及NoSQL数据存储。

这反过来就会支持应用Spark进行一系列的分析,“其中有些是操作分析,”他说。

就像Ferguson所形容的,操作分析试图利用分析来避免某些事件和优化流程。这可以让应用程序降低风险,改善客户交互并减少计划外运营成本。

A/B测试用例

Intuit是一家网络财务和税务筹划服务提供商,NoSQL数据库与Spark分析引擎协作的一个案例就是出自这家公司。

Rekha Joshi是加州的一位软件工程师,她说,对于那些存储在DataStax Cassandra数据库(运行在Amazon Web Services云端)中的数据,Spark已经完成了分析。

她所描述的一个用例集中在访问者与Intuit网站首选交互方式的A/B测试上。其目标就是要更好地理解访问者的喜好并对个性化他们的页面视图和网站交互进行自动响应。

数以百万的网站用户生成了大量数据, Cassandra NoSQL有能力应对这样的变化。但Rekha Joshi说:“这并不是Cassandra真正的用武之地。Spark和Hadoop才是为此而生的。”

Intuit员工曾使用Spark和Hadoop。它们有着各自的性能优势和局限性,该工作对Spark有近乎实时的性能要求。Hadoop是一个批处理系统,而Spark则是实时的或是接近实时的。

Joshi所描述的路径与Ferguson的操作分析有一定相关性,但是她选择另外已有的术语来描述同时支持批处理和实时分析的架构,即,λ架构。

诸如Ferguson的分析和Joshi的用例给出了数据分析架构改变的一个视角。这在存储方面可能有更丰富的内容。

For NoSQL, there is considerable growth to come, according to Allied Market Research, which estimated that a global NoSQL market that barely existed 10 years ago will reach $4.2 billion by 2020.

根据Allied Market Research的预测,NoSQL会有非常迅速的增长。 10年前几乎不存在的全球NoSQL市场将会在2020年达到42亿美元的规模。

和Ferguson一样,Allied将Web、移动和电子商务应用程序作为NoSQL迅速发展的驱动力。与诸如Spark这些新的分析引擎进行对接也会有助于NoSQL的增长,会扩大NoSQL的可用度。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

张亮亮
张亮亮

TechTarget特邀编辑。毕业于北京邮电大学网络技术研究院。熟悉软件开发测试的各个环节和流程,对操作系统,数据库,计算机网络等有较为深入的理解。现就职于中国电子科技集团公司下属研究所,从事软件研发工作。热衷于英文的学习交流,平时喜欢户外运动,音乐,电影。

相关推荐