虽然Spark的应用对企业而言已经并不陌生,但对于一些企业来说,这项技术可能还是比较“前沿”。 Apache Spark自2010年以来一直作为开源项目提供,尽管在此期间采用率呈指数级增长,但分布式计算框架仍可能成为广泛应用的企业工具。 Spark创始人和Databricks的联合创始人Matei Zaharia认为企业的准备不再是一个问题。他表示:“Spark不仅仅处于试验状态,实际上正在被企业使用着。
现在有超过1000家各种规模的公司正在使用它。” 不仅微软、Facebook、谷歌和苹果等大型科技公司以及许多金融服务公司(如Capital One,Goldman Sachs和Bloombe……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
技术看起来相当成熟
美国银行软件和移动支付公司FIS Global的工程总监Aaron Colcord认为,虽然没有显著的提示,Spark已经是一项相当成熟的技术。 “我认为这个平台正处于企业使用的转折点,”他在接受采访时说,“Spark平台还是有很强的技术性,但是我看到很多创新都在改进。” Colcord表示,很多企业正在寻找能够提供简单图形用户界面的工具,这些工具Spark目前尚未具备。他还怀疑一些企业是否愿意使用真正的开源工具,特别是金融服务领域。对稳定性和安全性的担忧使得任何真正的开源工具都是值得怀疑的投资。 FIS Global通过使用Databricks的云企业Spark平台来解决其中的一些问题,该平台为基本的开源Spark提供了额外的工具,可以帮助解决其中的挂起等问题。这允许公司利用Spark的最佳功能,包括快速的数据处理和先进的机器学习功能。FIS与银行和其他金融机构合作,为其应用提供技术支持。作为服务的一部分,FIS提供关于用户与应用程序交互的报告和情报。Colcord和他的团队正在使用Spark的MLlib算法开发相关程序。使用Spark的注意事项
然而,新的Spark用户可能会遇到与平台技术性质相关的一些问题,这可能会限制其对较少经验的用户的企业准备。Spark 峰会提到一些常见问题包括,遇到的用户内存不足。Spark提供快速计算时间的原因之一是它将数据缓存在内存中。用户在写入查询和数据转换时需要考虑到这一点,或者由于缺少内存,他们的作业可能会失败。 网络安全公司Sqrrl Data的资深数据科学家Ruslan Vaulin表示:“如果对Spark技术不熟悉,请注意与专业公司联络。用户必须真正了解Spark的架构。” 在Spark上投入生产时尤其如此。Vaulin表示,当他们只使用小型测试数据集时,可能一切运行良好,但是性能或内存使用问题通常只有在全面运行时才会显现。比较突出复杂性
与其它竞争的技术相比,Spark的复杂性问题尤为突出。沃尔玛实验室的首席软件工程师Nirmal Sharma将用户运行企业Spark应用程序需要具备的知识与Apache Hive的需求相比较。 他说,调整好后,Spark可以提供比Hive更快的查询性能。不同之处在于,无论是否调整正确,Hive都将完成工作,而Spark中完成不好的作业将会失败。用户在Spark中取得的成就必须用专业技术支付。 考虑到其他竞争技术旁边,运行Spark的复杂性变得清晰。沃尔玛实验室的首席软件工程师Nirmal Sharma将用户需要的知识用户运行企业Spark应用程序与Apache Hive所需要的相比。他说,调整好 后,Spark提供比Hive更快的查询性能。不同之处在于Hive将完成工作是否正确调整,而Spark中写得不好的作业将会失败。使用Spark必须具备一定的专业知识。相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
学习迪士尼的分析之道
华特迪士尼公司正在继续增加对数据分析的投资,以改善其关键业务部门的客户体验。 该公司的业务包括公园和度假村、媒 […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]