2014年转眼就要和我们说拜拜了，如果从Hadoop 2005年加入Apache开始算起，这头小象也转眼就要十岁了。这一年里，Hadoop技术有什么重要发展？商用Hadoop供应商都干了啥？Hadoop市场又有那些大事儿发生？让我们来盘点一下吧。

技术是永远的干货

Hadoop版本更新

今年四次版本更新都是围绕HDFS和Yarn进行的。详细信息见Hadoop更新路线图。

• 2014年2月，Hadoop 2.3.0发布，新特性包括支持HDFS的混合存储分级，可以集中管理HDFS内存里的缓存数据，通过HDFS中的YARN分布式缓存简化MapReduce分配及一些Bug修正。
• 2014年4月，Hadoop 2.4.0发布。包括HDFS支持ACL权限控制机制、容易升级、支持支持https访问、支持ResourceManager因故障挂掉重启后，可以恢复之前正在运行的应用程序（用户不需重新提交）、增加了Yarn共享信息存储模块ATS等。
• 2014年8月，Hadoop 2.5.0发布。新特性包括扩展文件属性、改进 HDFS 的 Web UI，提升 Yarn共享信息存储模块ATS 安全性，更丰富的 YARN REST API 等。
• 2014年11月，Hadoop 2.6.0发布。增加了基于HadoopKeyProvider API编写的密钥管理服务器Hadoop Key Management Server（KMS）、HDFS实现了一个透明的，端到端的加密方式、长期存在的服务可以在YARN中运行、支持Docker容器中的本机应用程序等。

Hadoop 2 的逐步更新是不是意味着Hadoop已经走向成熟的企业级技术了呢？其实它还有很长的路要走。

SQL-on-Hadoop

如果不能使用SQL语言，Hadoop无疑是在构建下一个数据孤岛，因此SQL-on-Hadoop获得了越来越多的关注。

• Apache Hive 0.13发布。Hive是最早的基于Hadoop的SQL引擎。
• Apache 基金会宣布Apache Drill升级成为基金会的顶级项目。Drill包含SQL解析器，兼容SQL环境和Hive。

除此之外，还有很多SQL引擎可供选择。

• 数据库领域初创公司Splice Machine上周宣布，发布SQL-on-Hadoop数据库，官方宣称它可以在HDFS（Hadoop分布式文件系统）中运行SQL查询和ACID事务。

喧嚣与骚动

Hadoop市场从未像今年这样热闹过，商用版Hadoop供应商纷纷抱大腿，很多传统厂商也来分一杯羹。

Cloudera

• 因特尔放弃了自己研发的Hadoop发行版，转而支持Cloudera，以7.4亿美元收购Cloudera 18%的股份。
• 红帽和Cloudera联盟，一起开发包括数据集成和应用开发工具，以及数据平台在内的软件解决方案。
• Cloudera成立中国分公司，取名“肯睿（上海）软件有限公司”，正式入华。

Hortonworks

• 惠普投资5000万美元与Hortonworks达成战略性合作关系，二者联手开发Hadoop技术，使其在惠普的Haven大数据平台上运行。
• EMC分拆公司Pivotal和Hortonworks合作，联手打造Hadoop标准管理工具Apache Ambari。

Teradata

• Teradata收购数据咨询公司Think Big Analytics，借此获得Hadoop业务能力
•  Teradata与MapR合作，获得MapR软件、专业服务及客户支持服务的经销权，并作为同时使用Teradata及MapR解决方案客户的单点联系方提供服务。

Oracle

• Oracle最新推出的SQL扩展方案——Oracle大数据SQL（Big Data SQL）能实现一条SQL查询来从Cloudera Hadoop（CDH）和Oracle NoSQL数据库中调取数据，同时也支持Exadata上运行的Oracle关系型数据库。

应用案例

很多CIO非常关心Hadoop技术发展到什么程度了，还有没有成熟。其实CIO更应该关心的是自己的企业发展到什么程度了，适不适合使用Hadoop。没有完全成熟的技术，只有能否满足业务需求的产品。很多公司都应用了Hadoop技术，来看看今年曝光的应用案例吧!

• 美国电商eBay每天要处理100PB的数据，其中包括50TB的机器数据。它采用了三层平台战略，其中第三层平台就是Hadoop，eBay部署了两个2万节点的Hadoop集群，能处理80PB的数据。

• 数字媒体软件供应商Adobe公司运用SAP Data Service将Hadoop数据加载到SAP内存数据库HANA上。

• 思科首席数据架构师Bhargava带领他的团队从事开发Hadoop的工作，一些Hadoop用户案例已经投入市场，比如集成线下和线上客户信息。虽然现在Hadoop的规模还很小，但在接下来两年里，它会呈指数增长。

最后的最后。。。

程序员有福了!Hadoop从业者的年收入最高，134500元。是数据库从业者中收入最高的，超过了NoSQL从业者和Oracle DBA。新的一年是不是又有新的选择了？