我接触的许多企业都是从一个部门的数据集市开始进行预先规划、使用统一的规模,然后再建立额外的部门数据集市。他们认为数据库未来的需求会不断增长,数据集市会变成一个企业仓库,于是把数据库的基础架构设计得异常庞大,毫不考虑短期需求。 在这个演变过程中,两个方面有可能破坏这个简单方法。一是,其他部门启动了相似的项目。
他们建立了自己的数据仓库,两个、三个、四个系统开始在企业中同时增长。二是,企业无法精确评估系统增长的速度。他们由于意识到日后改造系统的不易,因此高估了系统的增长速度,一开始就去实施一个巨型基础架构。 最后,必须将这些系统合并成为一个真实版本。
撇开政治因素与选址问题不谈,他们所合并的平……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
我接触的许多企业都是从一个部门的数据集市开始进行预先规划、使用统一的规模,然后再建立额外的部门数据集市。他们认为数据库未来的需求会不断增长,数据集市会变成一个企业仓库,于是把数据库的基础架构设计得异常庞大,毫不考虑短期需求。
在这个演变过程中,两个方面有可能破坏这个简单方法。一是,其他部门启动了相似的项目。他们建立了自己的数据仓库,两个、三个、四个系统开始在企业中同时增长。二是,企业无法精确评估系统增长的速度。他们由于意识到日后改造系统的不易,因此高估了系统的增长速度,一开始就去实施一个巨型基础架构。
最后,必须将这些系统合并成为一个真实版本。撇开政治因素与选址问题不谈,他们所合并的平台必须能够处理这些负载。许多企业被束缚到了某一个平台上,即便该平台已不再具备处理负载问题的能力,也无法进行转移。重新设计数据仓库平台是一个很大的负担,应该尽量避免。因此,预先理解平台的扩展能力,有利于确定数据仓库合并或首次创建时应该选择的平台。
注:根据我的经验,数据仓库的增长速度比预想的快得多。如果今天数据仓库的大小为1TB,我们很难确定三年后是不是会增长为15TB。一旦达到15TB,用户就会开始抱怨性能问题了。
多个数据仓库在授权、人员支持及维护方面的开销可能非常高昂。另外需要注意,这些数据仓库通常在相互竞争的平台上运行,所以想要享受从一个供应商处购买多个软件授权和相似硬件的折扣是不可能的。既然使用不同的平台,那么IT人员必须掌握大量不同的技术,从而导致人员成本的提高。此外,托管数据集市的经济型数据库系统通常无法扩展到企业级数据仓库的规模。
我在这里并不反对将数据集市扩展成为企业数据仓库。这是一种非常有效的技术,具有很多优点,随其增长也能给用户带来很好的回报。问题在于我们必须仔细选择用于创建数据集市的平台。这个平台是否支持多个数据集市?它是否可以根据需求进行持续扩展?
这些问题随即带来一些特殊需求。数据仓库平台必须能够扩展,以符合快速增长需求。在项目启动时具备高性能、在工作负载持续发展扩大时仍能保持其性能水平的系统才是首选系统。
作者
翻译
TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。
相关推荐
-
年度数据仓库市场格局新鲜出炉 论技术论实力谁更受青睐?
国际数据管理分析机构The Information Difference在最新年度数据仓库市场格局(Big Data Warehouse Landscape)报告中,对全球前25家数据仓库厂商进行了评估。
-
体育机构合理选择数据仓库 上演“球迷也疯狂”
体育运动机构如何能更准确地熟悉球迷群体呢?NBA的夏洛特黄蜂队提出了这个问题,并在Phizzle FanTracker平台中获得了答案。
-
Hadoop工具让数据仓库迁移更轻松
即便进入Hadoop时代已经有些年头了,但将任务迁移至分布式平台并非易事。能够找出哪些任务在不给大量开发人员带来麻烦的情况下进行迁移,有助于数据管理人员做出最佳选择。
-
Gartner发布2016年数据仓库和数据管理解决方案关键能力报告
2016年7月13日,Gartner发布了《数据仓库和分析型数据管理解决方案关键能力》报告,帮助数据集成和数据分析负责人选择正确的技术发展信息基础设施,以支持多样化的分析需求。