在云环境中对数据进行管理和分析,可以降低IT成本,简化技术部署与升级的流程。尽管云环境有很多潜在的好处,但人们对云环境的接受程度仍然比较低。 数据库供应商、数据仓库和大数据平台都在争相发展壮大他们的云端服务,商业智能和分析工具的开发人员也在做类似的事。越来越多的企业用户选择在云环境中存储、管理和分析他们的数据。
但是当企业真正在云环境中部署BI和进行数据分析时,遇到的情况却各不相同。一些企业几乎是一步到位;也有很多企业在一步一个脚印地完成向云环境的迁移。 First Tech,美国的第八大信用社,约有400000名成员,管理着80亿美元的资产。也被云技术吸引,正在逐步转移到云环境中。
他们希望在云……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
在云环境中对数据进行管理和分析,可以降低IT成本,简化技术部署与升级的流程。尽管云环境有很多潜在的好处,但人们对云环境的接受程度仍然比较低。
数据库供应商、数据仓库和大数据平台都在争相发展壮大他们的云端服务,商业智能和分析工具的开发人员也在做类似的事。越来越多的企业用户选择在云环境中存储、管理和分析他们的数据。但是当企业真正在云环境中部署BI和进行数据分析时,遇到的情况却各不相同。一些企业几乎是一步到位;也有很多企业在一步一个脚印地完成向云环境的迁移。
First Tech,美国的第八大信用社,约有400000名成员,管理着80亿美元的资产。也被云技术吸引,正在逐步转移到云环境中。他们希望在云环境中运行一个前两年构建的分析程序。该机构计划从2月开始在生产环境中使用Hadoop集群,而这些集群则运行在微软的Azure云中。该机构数字分析的主管Naveen Jain说道,Hadoop集群建立在Hortonworks Hadoop分布式技术的基础上,可以作为一个数据湖泊,从内外部数据来源收集原始信息。也可以作为数据仓库,为数据集市提供精炼后的数据。
数据集市也处于云环境中,运行在微软的SQL Server数据库上,这些数据库则部署在Azure虚拟机中,该虚拟化技术旨在增强企业IT团队对Azure环境的控制。今年下半年,Jain希望将目前在本地部署的报表服务器迁移到云环境中,以便First Tech的分公司经理访问分析报告,这些报告由Tableau BI和数据可视化工具生成。云端Tableau服务器用来向客户提供服务,以便他们可以在线访问其账户的年度报告。此外,该信用社正在尝试利用微软的Azure Machine Learning云分析应用程序进行预测建模,期望卖给客户更多的金融产品。
First Tech负责商业运作领域的数据分析师将继续使用Tableau的桌面BI软件来分析数据集市中的信息,并构建分析报告。但Jain表示,这家总部位于加州Mountain View的信用社主要服务于IT公司的员工,公司希望迁移到Hadoop云平台,使用Hadoop相关技术,在降低成本的同时,还可以提供一定的可伸缩性与灵活性。Jain说“云技术可以让你具有快速应对业务需求的能力”。此外他还表示,相信微软已经为Azure建立了可靠的数据安全机制。
私有云上的尝试
电子支付行业的PayPal Holdings公司也尝试云环境中的数据分析方法,尽管它选择了非公共云的方向。这家位于加州San Jose的公司将其1500个前端应用程序的大部分程序,包括分析和报表程序,都部署在了基于开源的云计算平台OpenStack的本地私有云中。
五年前,PayPal设置了私有云。公司负责云与平台的副总裁Jigar Desai表示,OpenStack架构大大提高了IT的效率,特别是在为新应用程序提供基础设施资源的时候。以前,这个过程可能需要六到八周。目前,尽管大数据爆炸式的增长让云基础设施变得十分紧张,但他的团队通常在一天内就可以实现所需的计算资源。
但PayPal并没有把所有的分析应用程序部署在云端。公司的一些非常密集的数据科学工作——旨在识别潜在的欺诈性付款事务的预测建模,就部署在OpenStack之外,以满足商业所需的分析速度。
PayPal的全球风险科学高级主管Hui Wang表示,基于云的应用程序无法满足团队对性能的需求。风险科学部门主要负责开发机器学习算法,分析大量的支付历史数据,建立可能的欺诈情景。欺诈模型被应用于实时事务中,以阻止欺骗者的支付行为。如果PayPal的交易流程太过拖沓,耗时过长,就可能面临失去客户的风险。因此她表示,整个分析过程从开始到结束不到一秒的时间,这样才能满足需求。
Hui Wang还说,“我们的工作性质决定了我们要求的周转时间必须很短,”她指出,其团队分析了每个事务中“成千上万的数据属性”,使用机器学习算法产生一个风险评分。为了满足性能要求,她和同事们使用了大数据平台,如Hadoop和Spark处理引擎,还应用到了其他一些数据管理技术和分析工具。这些工具主要来源于甲骨文和SAS Institute。
云端分析的进展较慢
整个云服务市场已经成为一个快速增长的大型商业领域。今年1月,咨询和市场调研公司Gartner预测,全球公有云领域,今年仅在基础设施即服务领域的收入就将增加38%,达到224亿美元。软件即服务(SaaS)应用程序的销售将上升20%,达到377亿美元。
但在云中管理和分析数据依然不是云应用的主流,2015年5月由TDWI执行的一项针对IT和业务专业人员的调查显示,309个受访者中,只有35%的人表示,他们的企业在使用云环境进行数据管理和分析。去年10月公布的某项调查报告显示,另外35%的人表示他们正在考虑使用云。
同时,受访者被询问了有关自主型BI项目用到的12种技术,他们对这些技术在BI项目中的重要性进行排名,SaaS工具和云BI分析分别排名倒数第二和倒数第一。分别有50%和46%受访者认为这两个技术对他们的企业非常或比较重要,相比之下,排名前三的技术分别是自主型数据发现、数据可视化和自助仪表板,超过了75%的受访者是这么认为的。TDWI分析师在报告中写道,这个结果反映了云分析技术的不成熟,以及用户对云中敏感数据和分析程序的安全性和管理水平的担忧。
数据安全、隐私和治理问题是一些公共云应用的最大障碍,尤其是客户记录和分析的数据对商业成功至关重要。其他障碍还包括本地系统迁移到云端的复杂性和高成本,另外一些企业的数据中心处理能力还没有遭遇瓶颈,他们可能并不想迁移到云中。
利大于弊
咨询公司Capgemini负责大数据、集成和报表的主管Goutham Belliappa表示,潜在用户不必像过去那样过份担忧安全问题,这些年来,云平台厂商一直在持续改进云平台对数据保护的能力。他指出,尽管联邦情报机构可以使用中央情报局构建的私有云系统,但中央情报局和国家安全局仍然是亚马逊网络服务云(AWS)的忠实用户。
Belliappa认为,云环境下的数据治理才是更大的挑战,特别是在欧洲经营业务的公司,因为欧洲的数据隐私法尤其严格。不过,总的来说,他认为用户在云环境下面临的风险是可控的:“尽管向云环境的迁移需要深思熟虑,但我认为企业没有理由放弃云环境带来的好处。”
对于那些已经在云数据处理领域做了很多准备的公司来说,在云中分析数据十分合适,尤其在他们还没对本地数据管理和分析系统进行大量投资的情况下。
”我想不出任何理由让自己停留在本地部署的层面,“ Eyeview 公司的首席技术官Gal Barnea说道。Eyeview公司通过网络向消费者提供个性化的视频广告,为企业客户提供移动设备。该公司在去年实现了一个基于云Databricks的Spark平台,期望提高其机器学习应用程序的性能,增强其他类型分析的能力。
快速扩展或缩减可用系统资源的能力,是云环境带给Barnea的首要好处。这对他很重要,因为团队需要的处理能力可能在一个月中、甚至在一个星期内发生巨大的变化。
Eyeview 平均每天需要处理约1.5 tb的数据,这些数据来源于网站、零售店购买记录和其他信息,通过对这些数据的分析,Eyeview将为客户评估出100亿至200亿个广告机会。但是考虑到公司的业务季节性,一年中的某些时候可能更加繁忙。例如,黑色星期五和传统节日,属于销售旺季,这期间数据量是巨大的,而在夏季这些数据量就要少得多。Spark运行在AWS中,同时在AWS云中存储和分析数据,这让Barnea在旺季可以轻易的增加资源,而在淡季又可以减少资源来节约成本。
”云允许根据实际的业务调整成本,“他说,”如果第四季度对于公司来说是非常重要的,那我所需的工程成本也会相应的增加。但在第二季度,对于广告的需求不那么大,那我们的成本也相对较小。“
脚踏实地地前行
作为对比,分析过程对微处理器巨头英特尔来说,在其销售和营销业务上更容易实现。他们使用了一个本地部署的Hadoop集群,基于Cloudera分布技术,它整合各种内部和外部的数据,方便业务数据分析师、其他终端用户通过自助BI工具进行分析。英特尔主管销售与营销领域的首席BI架构师David Schaefer说道,其团队所涉及的几个业务领域刚刚开始接触云端BI软件。
Schaefer在拉斯维加斯举办的TDWI会议上表示,在使用了云的前提下,当英特尔的团队与客户打交道时,他们可以以一个更简单的方法来访问BI数据。他还说道,一些BI和分析供应商提高了SaaS工具的速度,让它们比本地软件还要快,他还指出云计算的潜力,那就是减少了资源的需求,简化了技术升级的过程。
Schaefer说:“英特尔集团在云工具的安全保护方面需要非常严格的审查,如果将数据移动到云端进行分析是必须的,那将会产生相应的成本。现在,销售和营销企业只愿意为一些小规模业务埋单,他们不像我们一样,把一切都迁移到云中。”
翻译
TechTarget特邀编辑。北京邮电大学计算机科学与技术专业硕士。熟悉软件开发流程,对系统管理,网络配置,数据库应用等方面有深入的理解和实践经验。现就职于IBM(中国)投资有限公司,从事IBM服务器相关软件的开发工作。业余时间喜欢游泳登山,爱健身,喜欢结交朋友。
相关推荐
-
Qlik收购Attunity为用户扩展数据管理功能
近日BI和数据可视化供应商Qlik公司收购以色列数据集成和数据管理供应商Attunity公司,此举将进一步推动 […]
-
如何减少部署自助BI工具的痛苦
为什么部署自助BI如此困难?从理论上来讲,自助BI应该是你所有问题的答案。但很多企业最终都还是失望,数据让他们 […]
-
Qlik收购Podium旨在提高BI数据管理
Qlik正在收购初创公司Podium Data。这次收购将为这家自助式BI和数据可视化软件供应商带来新的数据管 […]
-
学习迪士尼的分析之道
华特迪士尼公司正在继续增加对数据分析的投资,以改善其关键业务部门的客户体验。 该公司的业务包括公园和度假村、媒 […]