一年一度的Hadoop峰会举办到今年已经是第七届了,无论从参会人数还是活动安排看,今年都可谓盛况空前。今年的Hadoop峰会已于6月3日到5日在美国加州的圣何塞举行,共有3200多名开发者、数据科学家、数据架构师和解决方案供应商参会,是去年参会人数的两倍。主办方为Hortonworks和Yahoo!,Cloudera、Pivotal等Hadoop发行商也都在赞助之列。
2014 Hadoop峰会的议题很多,共有120多场演讲,关注的核心仍然是业务价值。Hadoop正在向企业级迈进,在这个过程中,易用性和安全性将是发展的关键。
冲破牢笼:SQL on Hadoop
Hadoop是存储、分析海量数据的利器,但其独特的MapReduce架构限制了它的发展速度。因此,SQL on Hadoop就成了Hadoop商业化发展的重要方向。今年的Hadoop峰会也邀请到了提供SQL on Hadoop解决方案的厂商,包括Actian和Splice Machine.
Splice Machine为Hadoop提供RDBMS(关系型数据库管理系统),公司CEO Monte Zweben认为,通过SQL访问Hadoop数据有两个优点:“一方面,在Hadoop上创建RDBMS便于数据访问,利用Hadoop的并行扩展技术,可以将传统RDBMS的性能提升十倍。”
“另一方面,可以解决人们通常说的‘Hadoop 停车场’困境。很多用户只是把海量数据存储在Hadoop中,数据难以提取、分析,Hadoop成了一个‘停车场’。SQL on Hadoop可以提升数据提取、分析的速度,甚至支持实时分析。”
同样为Hadoop提供SQL帮助的还有Hortonworks倡导的Stinger项目。Stinger通过新的优化的Hive工具在Hadoop实现交互查询功能,宣称其交互查询速度是Hive0.10的100倍。该项目还得到了SAP、微软等企业的支持。
事实上,微软已经成为Hortonworks重要的合作伙伴,微软日前宣布,Windows Azure HDInsight将为Hadoop 2和Stinger项目第二阶段的研发提供优化查询支持。
安全性将成为竞争的关键
在选择技术时,安全性往往是企业考量的一个重要方面。
可喜的是,以前我们总是担心Hadoop公司被人收购,现在Hadoop公司终于可以收购别人了。五月,Hortonworks收购了大数据安全厂商XA Secure,该厂商提供集中式管理控制台管理Hadoop的安全性。它是一家专有软件公司,Hortonworks接下来需要将其开源,归于Apache旗下。
除此之外,Hadoop安全供应商Zettaset在本届Hadoop峰会上宣布,会为Hortonworks首个大数据平台HDP2.1提供支持。
六月,Hortonworks的竞争对手,Hadoop供应商Cloudera收购了大数据初创公司Gazzang,Cloudera表示,公司通过加密和管理,将为企业提供端到端的安全和治理方案。
同时,Cloudera也在Hadoop中加强了列级权限、访问控制和基于团体和个人的身份认证功能。
Hadoop技术发展很快,为企业实际应用的考量也在逐渐增多。Hadoop市场的竞争也越来越激烈。除了Hortonworks与Cloudera的角逐,去年刚刚分拆出来的新公司Pivotal也不甘示弱,最近发布的Big Data Suite中附加了很多特殊服务,可以帮助企业更容易地部署和利用Pivotal Hadoop发行版(HD),不收取附加费用。并且有消息称,Pivotal正在积极构建开发者社区,为源代码的竞争积蓄力量。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
![TechTarget微信公众号二维码](/wp-content/uploads/res/images/spriteimg/ttweixin.jpg)
TechTarget
官方微博
![TechTarget中国官方微博二维码](/wp-content/uploads/res/images/spriteimg/ttweibo.jpg)
TechTarget中国
作者
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
数据太多Hold不住?Hadoop数据治理来“救场”
当LinkedIn还是一家规模较小的公司时,它从社交网站上获取的数据是如何被格式化和结构化的,似乎并没有人关注。
-
将数据治理工具渗透到企业中有多难?
对于主流大数据用户来说,数据治理是一个大问题。最近,IT供应商已经宣称使用开源以及商业数据治理工具来管理基于Hadoop的数据湖中的数据。
-
遇到Hadoop性能问题很头疼?监控集群很重要
大数据系统中,数据并非唯一需要管理的内容。数据科学家和其他用户所运行的查询也必须进行监控,以确保他们不会在Hadoop和Spark集群中陷入困境。