对于商务智能或数据仓库开发者来说,这是一个让人眼花缭乱的时代,各种新技术层出不穷。在种种技术创新解构现存架构、技术和传统的时候,数据仓库和商务智能也不能例外。
下一代数据仓库和BI架构呼之欲出,这种新型的架构模式包含:
- 先进的分析能力,比如统计和预测分析、针对实时数据的实时分析、以及成熟的数据虚拟化技术。
- 通过采用非关系型或开源系统,加强对新的、不常见的数据源(即所谓的大数据)的管理。
- 理解、融入新的概念,比如数据池
- 应用数据虚拟化技术或数据混合工具进行数据的提取、转换和加载(即ETL),集成数据。
- 顺应云计算和移动化的发展趋势,集成硬件和软件应用。
这些新技术可以帮助企业增强实施决策能力,同时降低扩展的成本。
其实,很多技术人员不清楚该如何在现存BI和数据仓库的基础上添加新的功能。数据仓库还有没有存在的必要?Hadoop技术该如何使用?如何满足业务日益增长的实时分析的需求?要回答这些问题,并不是件容易的事。
数据仓库仍然是BI的工厂
让我们首先来回答第一个问题:企业数据仓库是否还有存在的必要?答案必然是肯定的,至少在可预见的未来,数据仓库不会消失。不过,它的角色会有所改变。它会成为产品报表、比较和分析的源头。数据仓库是数据集成和高质量数据的最好的来源。BI分析和BI仪表盘组件,包括市场、运营和销售部门使用的KPI和其他业务度量工具,都离不开企业数据仓库。没有什么能够改变数据仓库“BI工厂”的地位
图1 传统企业数据仓库
然而,传统企业数据仓库架构已经不能完全满足今天企业的需求。在处理新类型数据、进行深度分析和实时数据分析等方面,传统数据仓库架构存在着明显的不足。
图2:新数据仓库的组成
现在,来看一下第二个问题:Hadoop技术该如何应用?无论是关系型数据平台还是非关系型数据平台,都要求我们走出传统数据仓库架构,为BI增添新的组件。
图2已经显示了我们扩展数据仓库采用的主要的组件。第一个是调查计算平台,主要用到了关系型软件和Hadoop技术。这一平台主要用于挖掘数据、开发新的分析模型,比如数据挖掘、因果分析、条件分析、类型分析以及常规的无计划的数据调查。
一些组织可能只将调查计算平台用于简单的实验沙箱,而一些组织会创建完整的分析平台,或将其用作数据加工。如果部署得当,这种新的平台能够帮助企业实现对大规模数据集的快速分析。
第二个新的组件就是数据加工。所谓数据加工,就是把来自于传感器、社交媒体、RFID等多种数据源的数据和实时数据提取进来,经过一定加工后将其加载到关系型或非关系型数据存储中。就像石油加工把原油变成石油产品一样,数据加工把未经处理的数据变成有用的信息,这些信息会为调查计算平台或数据仓库所用。数据加工通常要求在数据安全、隐私、质量、归档和销毁等数据治理层面能够更灵活。
图3:数据仓库架构
对数据仓库扩展的第三个组件也恰好回答了我们的第三个问题:如何满足业务日益增长的实时分析的需求?这一组件包括运营环境中的实时分析平台,目的是要开发和部署实时分析应用,比如Web事件分析、跟踪流优化和风险分析。因为实时分析平台中的分析模型和规则很有可能会在企业数据仓库、调查计算组件和实时分析平台自身开发,所以一定要保证这三个平台的紧密集成。
图3把所有的元素都放入了数据仓库架构中。现存的和新得数据管理、BI和分析技术可以并存共生、彼此支持。在扩展的BI架构中,每一个组件都得到了优化,来满足特定的功能和能力需求。
这种架构总体上不会改变太多,这需要生产、调查和实时分析能力保持相对一致。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
数据分析是关于文化,而非技术
在新加坡,Tableau公司新数据准备工具发布会上,发言人表示,数据分析日益盛行的原因在于数据量呈指数级增长以 […]