Hadoop受到很多人的关注,但是大数据框架融入IT主流的步伐在减缓, Gartner公司2015年的调查显示只有十分之一的受访者将Hadoop用于生产应用。其中一项限制因素是:在其配套运行环境MapReduce中的编程复杂性。但是,新兴的SQL-on-Hadoop查询引擎为Hadoop的更广泛使用提供了新的便利。
关于SQL-on-Hadoop工具,有以下三个要点应注意:
SQL编程人员是营救Hadoop的骑兵。到目前为止,Hadoop很大程度上都依托于由掌握高级技能的程序员用java编写的MapReduce程序。但是,具备这种高级技能的程序员远不够多,而且雇佣和保留这些高级人才的成本也很高。SQL是关系数据库的标准编程语言,如果把Hadoop与SQL实现了整合,就相当于对所有开发大军和数据分析师都开放了Hadoop的使用,大多数组织都有很多熟练掌握SQL技术的人员。
批处理作业不再是唯一的用法。MapReduce只支持按预定义的时间表批量处理任务。一些SQL-on-Hadoop引擎也支持批处理,不过也有一些支持交互式的临时查询,这样就可以使用主流商业智能BI工具。工具可以帮助支持用户针对Hadoop集群中的数据做自服务BI和实时分析。
现在业界出现了很多SQL-on-Hadoop方案可供选择。大概有十几种SQL-on-Hadoop工具可以用,有的是开源的,也有一些是商业产品。这个产品队伍还在持续壮大。这些产品大部分仍不成熟,一些产品只支持部分SQL功能。因为这些产品针对于不同应用程序设计,所以关注这方面产品的用户在选择使用产品之前需要理解他们的最优使用场景。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
Cambridge Analytica秘密收集Facebook数据表明对道德数据挖掘的需求
当有关Cambridge Analytica公司秘密收集Facebook数据的消息传出时,这暴露了一个薄弱环节 […]