近日大数据领域两家顶级供应商达成交易协议，这可能会影响Hadoop和其他开源数据处理框架，并使大数据用户的技术选择减少。

长期竞争对手Cloudera和Hortonworks称他们将通过全股票交易完成合并，在合并后公司市值将达到52亿美元。

在过去几年IBM和其他公司纷纷放弃自己的Hadoop平台后，Cloudera-Hortonworks合并将进一步减少用户可用的商业Hadoop发行版。

Cloudera-Hortonworks瞄准云计算竞争对手

这家新公司将可更好地与Hadoop先驱MapR Technologies（另一家独立供应商）竞争，还可更好应对云端Amazon EMR和谷歌Cloud Dataproc托管服务。微软也在其Azure云提供基于Hadoop的托管服务，但Azure HDInsight技术仍基于Hortonworks平台

此次合并交易得到Cloudera和Hortonworks董事会的批准，董事会要求Cloudera股东持有合并后公司约60％的股份。尽管如此，Cloudera首席执行官Tom Reilly和Hortonworks首席执行官Rob Bearden认为Cloudera-Hortonworks合并应该被看作是平等的组合。在合并完成后，Reilly将担任首席执行官;Bearden将出任董事会成员，但他不会担任运营职务。

近年来，这两家上市公司都面临着日益严峻的挑战–他们需要提供复杂且不断变化的技术。而且，这两家公司都没有盈利，同时，近年来，Hadoop云部署要求这两家供应商开始开发其平台的微服务版本，以拥抱云存储架构，例如Amazon Simple Storage Service（S3）。

以前的竞争终止

在过去，这两家最早的商业Hadoop制造商之间的竞争非常激烈。

Reilly在与投资分析师和记者的电话会议中表示：“我们多年来一直在竞争，作为竞争对手，我们之间有很多感情。曾经的竞争将使我们的合并成为更好的公司。我相信我们会成功合并两家公司，因为我们彼此尊重。”

随着近年来技术的迅速发展，最初被称为Hadoop的技术也在不断发展，主要摆脱了最初定义它的MapReduce软件框架。而无论是用户还是供应商，这都不是一条平坦的道路。

随着时间的推移，Cloudera和Hortonworks都开始淡化Hadoop在改善企业内部大规模分析方面的作用。

理顺Hadoop市场

同时，Monash Research公司总裁Curt Monash认为，独立Hadoop发行版提供商数量的减少是顺应发展。

Monash称：“每个主要开源项目只要一家公司就足够，而现在有太多Hadoop公司。”

他认为，永久Hadoop市场类别的概念令人质疑。

Constellation Research公司分析师Doug Henschen表示，对Cloudera和Hortonworks来说，他们都提供云版本的大数据分析工具，同时相互竞争，这对他们都很不利。

此外，这两家公司还面临来自主要云服务提供商（主要是AWS和谷歌）的竞争，这些提供商越来越关注基于Hadoop和相关技术构建的大数据分析应用程序。

Henschen称：“企业转向云计算的举措正在削弱Cloudera和Hortonworks的增长和收入潜力，这使得双方都无法维持强劲且有利可图的增长趋势。亚马逊EMR和Spark服务以及相似的Azure及谷歌服务正在更快地增长，他们都在抢占大数据平台市场的最大份额。”

特别是，亚马逊EMR和S3的结合使Cloudera和Hortonworks面临压力。在2016年，Gartner分析师Merv Adrian表示，从用户数量来看，AWS已成为最大Hadoop供应商，超过所有竞争对手用户总和。亚马逊不断增长的市场份额促使Cloudera和Hortonworks简化在云端运行其大数据平台的操作。他们的这种努力还在继续，例如，今年6月，Hortonworks扩展其产品到谷歌，微软和IBM云。

抛开过去的分歧

分析行业资深人士Thomas Dinsmore表示，Cloudera和Hortonworks在发展关键领域方面都发挥了重要作用，因此他们应该不会在整合不同产品线方面遇到很大障碍。

机器学习及AI工具供应商DataRobot公司的竞争对手情报高级主管Dinsmore说道：“他们软件的差异更多在边缘，他们确实存在差异，但并不大。”DataRobot已经与这两家公司建立合作伙伴关系，他称他们会继续保持合作关系。

曾在Cloudera工作的Dinsmore指出，这两家Hadoop供应商之间的数据科学工具方法存在差异。

Cloudera提供Cloudera Data Science Workbench，这个数据科学平台是基于2016年通过收购初创公司Sense.io获得的技术。另一方面，从2017年开始，Hortonworks与IBM密切合作，提供基于IBM Data Science Experience平台的机器学习和AI工具包。

在电话会议中，Hortonworks高管表示，他们与IBM的交易计划将继续。

这两家公司的高管都表示，在Cloudera-Hortonworks交易完成之前，他们将继续单独销售各自产品。他们承诺至少三年内支持当前用户的产品。

合并时间表

这两家公司高管预计合并交易将在2019年初完成，届时他们将致力于打造统一平台，该平台将整合每个公司的最强技术元素。

Reilly称，合并后的公司将为新云版本软件加入工程努力，并且，他认为合并可节省成本，包括优化研发工作以及企业职能预期效率。

虽然他们都使用开源Apache软件，但他们采用的方法不同。就其本身而言，Hortonworks已经明确声称最接近Apache开源标准。而Cloudera倾向于强调企业实用性，而不是软件纯度，如同MapR。

Small World Big Data咨询公司创始人兼分析师Mike Matchett称：“Cloudera-Hortonworks合并的最大受益者将是Hortonworks的下游用户，这些用户通过访问合作云来使用云计算大数据服务。”

与此同时，Cloudera用户也会因为代码库与Hortonworks大数据品牌“重新合并”而感到欣喜。