大数据的秩序维护至关重要

日期: 2012-12-25 作者:Barry Devlin翻译:曾少宁 来源:TechTarget中国 英文

在希腊神话中,由于未经允许给了人类火种,普罗米修斯冒犯了天神宙斯。为了惩罚这个行为,宙斯将世间第一个女人潘朵拉和一个魔法盒一起作为礼物送给地球上普罗米修斯的弟弟厄庇米修斯。由于害怕其中存在骗局,厄庇米修斯请求潘朵拉不要打开魔盒。然而,她被好奇心打败。当她打开盒子时,疾病在人间散播,但是留下了一样东西——希望。

  如果把这个神话故事放到今天来看,大数据就是2012年的“魔盒”。无论它是恶魔还是希望之源,许多组织仍然能够从中得到业务效益;而这两个方面都是共存的——坏的方面在于隐私问题和无意义的统计,好的方面在于改进了医疗和气候变化建模。使用大数据的可能性是无限的,而支撑这些可能性的技术已经有了突飞猛进的发展。

  但是,事情远没有这么简单。普罗米修斯代表希腊人的“远见”,而厄庇米修斯则代表着“后觉”。在当今的商业环境中,大数据已经将我们对分析的认识从向后分析变成向前分析。结果,我们开始发现,大数据向我们提出了数据采集、管理和使用等实际问题。

  2013年,大数据技术肯定会继续发展和进步,而且它的新业务应用也一样,虽然还存在不确定因素。但是,现在IT必须关注于架构转变及大数据环境所出现的问题。现实表明,我们在业务中处理时间很长的任务只是现实信息非常小的一部分。IT与商业智能(BI)经理必须准备好应对更多的数据。

理解大数据的新模型

  如图所示,根据作者的模型,如果与传统结构化数据相结合,大数据的非结构化形式最适合分析用途。

  我为各个公司创建和采集的所有结构化数据与非结构化信息提出了一种理解大数据的新模型。这个模型(参见上图)包含三个不同的域:

  • 人工生成信息

  所有信息都出自人手,主要记录人的日常行为,包括文字、图像、声音和视频,现在它们几乎都已经采用电子化来展示和存储。这些信息结构宽松,而且通常不受约束,因此必须经过系统化和标准化,再对它们进行建模,并在运营和BI系统中验证它们的有效性,创建出第二个领域的数据,才能够有效使用。

  • 处理中间数据

  业务流程会记录和监控所有业务事件,如注册客户信息和制造产品。处理中间数据是指高度结构化和模型化的数据,以及这些流程所产生的环境元数据。长期以来,IT都是在关系数据中对这些数据进行处理和管理。

  • 机器生成数据

  传感器和各种机器会记录各种事件及所监控条件下的数据。它们输出的都是机器生成的数据,包括简单的传感器记录和复杂的计算机日志数据,都是高度结构化且非常可靠。随着传感器的增多,它们捕捉的数据会在BI与分析业务中占据越来越重要的位置。数据的规模与传输速度通常比传统方法快;这些情况需要使用独立的高性能关系数据和NoSQL。

  从实质上来看,我所提出的模型表明,新出现的大数据源由于管理不当,通常需要通过传统的处理中间数据进行优化,才能实现有用且恰当的业务分析。结果,市场关注点很可能会从大数据初创公司和小型供应商转到更成熟的供应商,他们拥有企业级技术储备,能够从语义和物理层面上整合来自不同数据源的多种数据类型——今年已经出现这种趋势。

  2012年出现的另一个趋势更强调商业价值,这个趋势很可能会在明年继续扩大。到目前为止,我们发现人们更感兴趣的是分析社交媒体信息,从中提高品牌知名度和发现产品问题,以及用于提高运营水平的大数据分析。然而,关注点很可能会转移到处理创新上,即利用以前不可用(或者成本过高)的多种来源数据,发现执行旧业务的新方法。

  最后,当前出现的下一个热点来自互联网巨头谷歌与Facebook的真正大数据技术,因为这些公司的需求已经超出了基于文件工具的功能(如Hadoop)。当大部分大数据支持者从批处理统一模式转到分布式但兼容ACID的数据库思维方式时,新工具潮流(Dremel、Caffeine、Pregel、Spanner和Prism)就会出现。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

翻译

曾少宁
曾少宁

TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。

相关推荐