近年来,由于NoSQL数据库出现并用于处理大规模数据扩展,在线事务处理技术不断变化。同时,随着Hadoop和Spark的出现,经典分析模式被逐渐打破。
如今,应用程序来利用这些技术在大规模事务系统上创建接近实时的分析。尤其是接入NoSQL系统的Spark连接器正变得越来越普遍。
“就是我们正在用操作系统和分析系统改变我们正在做的事情,”分析师Mike Ferguson在上周Dataversity举办的一个讨论会上说。
Ferguson是位于一位英国的经营智能商业策略的总经理,他分享了将Spark与来自Basho Technologies的关键值Riak NoSQL数据存储相连,通过这种方法来对Web和移动数据的分析进行加速。
和Aerospike,Couchbase,DataStax,Redis Labs以及其他竞争对手一样,Basho也因此目的而涉足Spark连接器。
操作分析
Ferguson说把NoSQL和Hadoop以及Spark进行结合为他所谓的“操作分析”奠定了基础,相比起过去的分析系统,该系统不需要整夜都进行批处理任务。
多年来,关系型数据库都处于操作和分析系统之间循环的末端。但是随着Web和移动应用程序开始需要可扩展性(这种特性是通过运行分布式计算机集群获得的),情况就开始改变了。对于数据处理来说,页面是一回事,而移动又是另一回事。
通过移动接入事务系统,并发用户量激增到了前所未有的水平。这使得团队要去尝试新的架构,而Spark则已经成为一个有力的竞争者。
Ferguson指出Spark和其他产品一样虽然通常是运行在Hadoop上,但是并不局限于Hadoop存储。它还可以访问关系型数据存储以及NoSQL数据存储。
这反过来就会支持应用Spark进行一系列的分析,“其中有些是操作分析,”他说。
就像Ferguson所形容的,操作分析试图利用分析来避免某些事件和优化流程。这可以让应用程序降低风险,改善客户交互并减少计划外运营成本。
A/B测试用例
Intuit是一家网络财务和税务筹划服务提供商,NoSQL数据库与Spark分析引擎协作的一个案例就是出自这家公司。
Rekha Joshi是加州的一位软件工程师,她说,对于那些存储在DataStax Cassandra数据库(运行在Amazon Web Services云端)中的数据,Spark已经完成了分析。
她所描述的一个用例集中在访问者与Intuit网站首选交互方式的A/B测试上。其目标就是要更好地理解访问者的喜好并对个性化他们的页面视图和网站交互进行自动响应。
数以百万的网站用户生成了大量数据, Cassandra NoSQL有能力应对这样的变化。但Rekha Joshi说:“这并不是Cassandra真正的用武之地。Spark和Hadoop才是为此而生的。”
Intuit员工曾使用Spark和Hadoop。它们有着各自的性能优势和局限性,该工作对Spark有近乎实时的性能要求。Hadoop是一个批处理系统,而Spark则是实时的或是接近实时的。
Joshi所描述的路径与Ferguson的操作分析有一定相关性,但是她选择另外已有的术语来描述同时支持批处理和实时分析的架构,即,λ架构。
诸如Ferguson的分析和Joshi的用例给出了数据分析架构改变的一个视角。这在存储方面可能有更丰富的内容。
For NoSQL, there is considerable growth to come, according to Allied Market Research, which estimated that a global NoSQL market that barely existed 10 years ago will reach $4.2 billion by 2020.
根据Allied Market Research的预测,NoSQL会有非常迅速的增长。 10年前几乎不存在的全球NoSQL市场将会在2020年达到42亿美元的规模。
和Ferguson一样,Allied将Web、移动和电子商务应用程序作为NoSQL迅速发展的驱动力。与诸如Spark这些新的分析引擎进行对接也会有助于NoSQL的增长,会扩大NoSQL的可用度。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
TechTarget特邀编辑。毕业于北京邮电大学网络技术研究院。熟悉软件开发测试的各个环节和流程,对操作系统,数据库,计算机网络等有较为深入的理解。现就职于中国电子科技集团公司下属研究所,从事软件研发工作。热衷于英文的学习交流,平时喜欢户外运动,音乐,电影。
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
数据分析是关于文化,而非技术
在新加坡,Tableau公司新数据准备工具发布会上,发言人表示,数据分析日益盛行的原因在于数据量呈指数级增长以 […]
-
攻关克难:大数据系统中的预测技术
大数据分析近年来逐渐成为预测分析技术的代名词。这使得越来越多的人以为,任何用于预测分析的系统都必定涉及大数据; […]
-
让工业无忧 天泽智云发布工业智能应用孵化器GenPro
工业世界看似离我们遥远,却与我们的福祉紧密相连。数据和智能分析赋予我们更加广阔的视野,能够以预测的方式管理和避免还未发生的问题。