你真的了解大数据分析吗?

日期: 2015-05-25 作者:Akshat Thakar翻译:曾少宁 来源:TechTarget中国

本文将介绍大数据分析的主要步骤和面临的挑战。大数据分析包括以下步骤:

数据采集——从各种常规和非常规来源收集非结构化和结构化数据,包括机器传感器。

数据存储——将数据存储到稳定、分布式和可扩展的存储中,它们位于有复制副本的消费类硬件中。

描述性分析——汇总数据并开发数据可视化。

预测分析——使用可用数据通过监督学习算法开发模型。

规范性分析——开发利用预测结果的场景。


我们仍然没有涉及到帮助我们优化大数据分析步骤的挑战。我将介绍探寻大数据真实价值过程中会遇到的一些挑战。下面是一些问题及解决方法。

缺少数据源或隐藏数据源的标识:有可能数据采集步骤中没有隐藏的数据源。大数据并不限制数据源的数量,并且鼓励从所有可用数据源采集所有的数据。一个经验法则是采集所有用于解决大数据问题的数据。在这种情况下,我们需要保证采集所有数据的方法有足够的安全性。可以有多个团队参与数据采集。

数据安全性、缺少统一数据服务层和统一数据建模可能导致数据存储步骤产生数据孤岛。我们可以使用统一数据模型来定义业务实体、统一服务层和采用身份验证与授权形式的安全实现,以此来解决这个问题。有一个新概念叫数据湖(DataLake),它需要将数据存储为生产者和消费者之间预先协定的模式。

传统上,分析一直与较小规模数据集相关联,并且在OLAP模式中执行。除非我们能够说服干系人接受大数据的分析优势——实时分析与较大规模数据集并行处理能力,否则我们很难替代现有的分析/BI工具,也很难改进这些工具。一些算法也已经移植到大数据软件包,这是一个令人兴奋的消息。大数据技术将能够利用现有的分析平台——R语言、Python、SAS,并且能够提供统一的分析平台。此外,大数据人才也具备了分析技能,有能力执行描述性、预言性和规范性分析。

小结

大数据分析现在更多致力于精确定义数据、统一处理和开发数据驱动的智能产品。

 

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

翻译

曾少宁
曾少宁

TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。

相关推荐