最近,在研究企业数据架构的结构转型的过程中,我深切感受到新数据增长之快、数据可感知价值的增长之快。每一次创新都足以改变行业格局。这也就促使技术创新和新技术的采用率迅猛增长,企业管理数据的方式也千差万别。
技术人员逐渐意识到,在我们与数据交互的两种主要方式之间存在巨大差异,整个“数据经济”随之转型。只有弥合这两种交互形式,意识到数据会贡献我们梦寐以求的所有价值,才能获得真正的成功。
经常有人问我,数据的力量是不是被过度宣传了,我觉得不是。相反,根据我与客户的实际经验来看,我认为数据的力量被严重低估了。至于为什么,在这本电子书《技术指南:从大数据到快数据》里,你能找到答案。
我在这本电子书中,结合实例论证了这个问题,分享了自己多年的实战经验。我阐述了一些自己的见解,希望这些见解能够抛砖引玉,吸引更多的讨论。
企业数据架构变革
这本电子书是关于新的转型后的企业数据架构的,我描述了这一架构的主要技术构成,我相信在不远的将来它能得到普遍应用。
我很欣喜地看到,和几年前相比,市场逐渐变得清晰起来。有越来越多的细分技术涌现出来。
VoltDB做数据管理软件已经6年了,6年来,我们看到了数据应用在理解、设计和开发方面毋庸置疑的趋势。
我们有目共睹的是,以前独立的功能:应用程序和分析开始融合。各种规模的公司都在着手将新的应用程序和新的分析融合到一起。这也就带来了新的问题,即如何在全公司内构建一个新的架构,满足数据密集型应用程序的需求。这时,现代企业数据架构就应运而生了。
从大数据到快数据
好,理论到此为止,下面说技术。我认为未来所有的数据增长都来源于“快数据”。现在,大家都在说“大数据”,可能难以接受“快数据”的说法,但其实理解起来并不难。产生数据的数据源大多都在以极大的速率产生数据,我们要想从数据中获取价值,就要应对这种数据增长速度。我们周围的数据源:互联网、移动、社交、传感器和整个世界的数字化莫不如此。
快数据多以数据流的形式进入系统(在这里我会暂时忽略掉批处理,因为我认为批处理意味着数据不会即可发生作用,可以在未来提取数据价值)。数据流包括监测、日志记录、交互、传感器读数、点击和在线游戏等,它们都会在一秒钟内发生上百甚至上百万次。
处理快数据与处理但从规模上来讲的大数据是完全不同的两个流程,因此数据架构也要发生变化。我们在创建VoltDB时就依照这样的理论,我的联合创始人Mike也不止一次地阐述过这种理论。我们处理快数据会经过以下流程:
获取:以每秒百万次事件的速度获取数据
决策:在每一个事件作出数据驱动的决策
实时分析:对事件发展趋势提供可视化分析
构建应对快数据的高性能应用是很难的。而在竞争激烈的现在,把它和大数据分析结合起来,融入到企业数据架构中,则成为基本的筹码。对此,很多人还没有做好准备。
接下来,我会谈谈如何让快数据更智能。
本文原载于《技术指南:从大数据到快数据》
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
Cambridge Analytica秘密收集Facebook数据表明对道德数据挖掘的需求
当有关Cambridge Analytica公司秘密收集Facebook数据的消息传出时,这暴露了一个薄弱环节 […]