五大步骤帮你实现Hadoop价值最大化

日期: 2016-04-07 来源:TechTarget中国

企业在部署Hadoop时总会遇到一些问题。例如,企业要在生产环境中使用Hadoop,但是很难找到熟悉Sqoop、Hive、Pig和MapReduce编程语言的开发人员。为了使大数据项目中Hadoop的价值最大化,企业需要重视一些关键步骤。

你可能准备在公司启动一个大数据项目,但是你对Hadoop并不熟悉,并且不确定这样的项目是否可以带来价值。别着急,许多企业都会遇到类似的问题。在SAS公司与国际研究所携手发布的《企业应用Hadoop现状》报告中,提出了可以帮助企业发挥Hadoop大数据项目最大价值的五个步骤:

识别和定义可提供竞争优势和战略的用例

首先要选择目标。假设你想研究客户行为,应该关注新的数据类型,而不是研究其它项目,比如企业数据仓库;假设你想获取用户在线行为信息,应该分析点击量数据;假设你想了解客户对公司品牌的看法,你需要分析社交媒体数据。

还要确保你的Hadoop项目拥有高知名度,并提供可度量价值,例如销量提升或者很快拥有回头客户。这将有助于证明你的项目有价值并为未来的新项目铺路。

推荐一个帮助识别和定义用例的好方法:SAS商业分析现代评估(BAMA)服务,该服务旨在帮助扩大企业对分析的应用。BAMA是完成IT和业务单元之间对话的一个工作组,双方可以积极合作,共同面对分析流程方面的巨大挑战。

评估Hadoop是否适用于现有数据和分析架构

对于许多企业而言,商业智能和分析项目(如数据仓库)已经持续了几十年。尽管Hadoop数据存储成本可能远远低于数据仓库,但是也不应该废弃数据仓库方面的投资转而让Hadoop承担数据仓库的角色。虽然Hadoop是存储传感器数据的理想选择,但它不擅长实时处理少量数据。分析专家Tom Davenport表示,许多公司都在Hadoop集群中存储大量新的数据类型,然后把这些数据存储到企业数据仓库来满足产品应用的需求。

假设你已经完成评估,并考虑实施分析客户行为的Hadoop项目,那么你需要评估支持行为分析的数据存储在哪里。Hadoop可以存储大量数据而只消耗合理的成本,但仍然需要考虑其他的存储方式。企业想要更好地理解客户行为,需要强大的分析以便利用存储在Hadoop集群中的客户点击流数据。

利用数据管理、数据发现和分析提供价值

一旦你决定了要在数量最大且移动最快的数据项目中使用Hadoop,你需要工具管理、操作和分析数据,并且保证使用的工具必须跟得上节奏。假设你将传感器数据存储在Hadoop中,你想从数据中得到哪些信息呢?只是拥有数据不会获得太多信息,但是如果你可以把它与第三方数据关联,构建基于分析的数据表,就可以获得一些有价值的信息。如果涉及机械设备,带来的衍生价值会更多。例如,分析师预测飞机可能发生的故障以便做好维修工作保证飞机的飞行,增加收入的同时也节约了成本。这种基本的收益对于项目的成功至关重要。

简化你的整体时间值将帮助你进一步了解Hadoop的价值。不论数据存储在Hadoop还是其它地方,首先要确保你可以根据需求尽快地访问并加载数据。在几秒钟之内查询数十亿行数据,并在Hadoop中进行操作,无需把数据转移到单独的分析平台。要确保分析流程自上向下的高效性,这是Hadoop实施交付价值的关键。

重新评估你的数据集成和数据治理需求

数据分析项目的结果可能用于商业战略的决策。数据整合和管理也同样重要,你需要了解数据的来源并保证数据的可靠性。我们应该寻找像SAS这样的技术合作伙伴,SAS在整合IT和业务部门方面有丰富经验,可以帮助企业制定数据标准以便适用您特定的企业文化。数据管理实践会给你带来更大的信心,数据分析带来的价值也是显而易见的。

尽早评估技能/人才缺口并制定弥补空白的计划

大数据仍然是相对较新的领域,有效管理项目所需的技巧少得可怜。生产环境中使用Hadoop需要有Sqoop、Hive、Pig和MapReduce编程语言经验。

你应该结合企业需求和战略,确定否需要数据科学家以便使你的大数据项目更有意义,当然传统的业务分析师也许就能满足需求。例如,就像包含在SAS数据加载机中的 Hadoop工具那样,使用直观的界面,用户就可以获取、发现、转换、清洗、集成并交付数据,无需Sqoop、Hive或者Pig方面的专家。但是如果你聘请了数据科学家,应该让他专注于最擅长的领域,这样才能获得最大的价值。最终,企业得到最好的结果就是牢固掌握了所需技能,并在Hadoop项目实施之前制定计划来弥补技能欠缺。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

相关推荐