Spark尚未“成熟” 用户仍需“专业”

日期: 2017-06-02 作者:Ed Burns翻译:乔俊婧 来源:TechTarget中国 英文

虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。 Apache Spark自2010年以来一直作为开源项目提供,尽管在此期间采用率呈指数级增长,但分布式计算框架仍可能成为广泛应用的企业工具。 Spark创始人和Databricks的联合创始人Matei Zaharia认为企业的准备不再是一个问题。他表示:“Spark不仅仅处于试验状态,实际上正在被企业使用着。

现在有超过1000家各种规模的公司正在使用它。” 不仅微软、Facebook、谷歌和苹果等大型科技公司以及许多金融服务公司(如Capital One,Goldman Sachs和Bloombe……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。 Apache Spark自2010年以来一直作为开源项目提供,尽管在此期间采用率呈指数级增长,但分布式计算框架仍可能成为广泛应用的企业工具。 Spark创始人和Databricks的联合创始人Matei Zaharia认为企业的准备不再是一个问题。他表示:“Spark不仅仅处于试验状态,实际上正在被企业使用着。现在有超过1000家各种规模的公司正在使用它。” 不仅微软、Facebook、谷歌和苹果等大型科技公司以及许多金融服务公司(如Capital One,Goldman Sachs和Bloomberg)都在使用Spark,一些小公司也在使用Spark。Zaharia说,一家公司使用Spark的前提并不是认为这是一种成熟的技术,而是他们是否在处理大量的数据。 “如果你正在处理大数据,很可能正在使用Spark,”Zaharia说。

技术看起来相当成熟

美国银行软件和移动支付公司FIS Global的工程总监Aaron Colcord认为,虽然没有显著的提示,Spark已经是一项相当成熟的技术。 “我认为这个平台正处于企业使用的转折点,”他在接受采访时说,“Spark平台还是有很强的技术性,但是我看到很多创新都在改进。” Colcord表示,很多企业正在寻找能够提供简单图形用户界面的工具,这些工具Spark目前尚未具备。他还怀疑一些企业是否愿意使用真正的开源工具,特别是金融服务领域。对稳定性和安全性的担忧使得任何真正的开源工具都是值得怀疑的投资。 FIS Global通过使用Databricks的云企业Spark平台来解决其中的一些问题,该平台为基本的开源Spark提供了额外的工具,可以帮助解决其中的挂起等问题。这允许公司利用Spark的最佳功能,包括快速的数据处理和先进的机器学习功能。FIS与银行和其他金融机构合作,为其应用提供技术支持。作为服务的一部分,FIS提供关于用户与应用程序交互的报告和情报。Colcord和他的团队正在使用Spark的MLlib算法开发相关程序。

使用Spark的注意事项

然而,新的Spark用户可能会遇到与平台技术性质相关的一些问题,这可能会限制其对较少经验的用户的企业准备。Spark 峰会提到一些常见问题包括,遇到的用户内存不足。Spark提供快速计算时间的原因之一是它将数据缓存在内存中。用户在写入查询和数据转换时需要考虑到这一点,或者由于缺少内存,他们的作业可能会失败。 网络安全公司Sqrrl Data的资深数据科学家Ruslan Vaulin表示:“如果对Spark技术不熟悉,请注意与专业公司联络。用户必须真正了解Spark的架构。” 在Spark上投入生产时尤其如此。Vaulin表示,当他们只使用小型测试数据集时,可能一切运行良好,但是性能或内存使用问题通常只有在全面运行时才会显现。

比较突出复杂性

与其它竞争的技术相比,Spark的复杂性问题尤为突出。沃尔玛实验室的首席软件工程师Nirmal Sharma将用户运行企业Spark应用程序需要具备的知识与Apache Hive的需求相比较。 他说,调整好后,Spark可以提供比Hive更快的查询性能。不同之处在于,无论是否调整正确,Hive都将完成工作,而Spark中完成不好的作业将会失败。用户在Spark中取得的成就必须用专业技术支付。 考虑到其他竞争技术旁边,运行Spark的复杂性变得清晰。沃尔玛实验室的首席软件工程师Nirmal Sharma将用户需要的知识用户运行企业Spark应用程序与Apache Hive所需要的相比。他说,调整好 后,Spark提供比Hive更快的查询性能。不同之处在于Hive将完成工作是否正确调整,而Spark中写得不好的作业将会失败。使用Spark必须具备一定的专业知识。

作者

Ed Burns
Ed Burns

TechTarget网站编辑,重点关注商务智能、数据分析和数据可视化技术。

翻译

乔俊婧
乔俊婧

关注商务智能及虚拟化领域技术发展,专注网站内容策划、组稿和编辑, 负责《数据价值》电子杂志的策划和撰稿。喜欢桌游,热爱音乐,吃货一枚。

相关推荐