大型数据仓库的效率与成本问题

日期: 2012-05-27 作者:Mark Scott翻译:曾少宁 来源:TechTarget中国 英文

大多数人都知道,在IT词汇中,更大意味着更昂贵。随着系统的增大,成本也会显著提高。这可能会使组织不愿意创建大型数据仓库系统。虽然这种看法有一定的道理,但是在计算数据仓库系统的总成本时,还需要考虑一些抵消因素。

  建立一个单一内聚平台   许多大型组织会创建多个(通常是相互矛盾的)数据仓库。他们经常采用不同的平台,使用不同的软件。这对于整个数据仓库的造价会产生重大影响。   我曾经接触过许多企业,他们部署了多个小型独立的数据集市,而不采用一个大型中央数据仓库。

这些数据集市通常包含与其他数据集市相重复的数据。一个数据集市一般不会将另一个数据集市作为数据源。这样就会消耗额外的磁盘存储,增加重复数据……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

大多数人都知道,在IT词汇中,更大意味着更昂贵。随着系统的增大,成本也会显著提高。这可能会使组织不愿意创建大型数据仓库系统。虽然这种看法有一定的道理,但是在计算数据仓库系统的总成本时,还需要考虑一些抵消因素。

  建立一个单一内聚平台

  许多大型组织会创建多个(通常是相互矛盾的)数据仓库。他们经常采用不同的平台,使用不同的软件。这对于整个数据仓库的造价会产生重大影响。

  我曾经接触过许多企业,他们部署了多个小型独立的数据集市,而不采用一个大型中央数据仓库。这些数据集市通常包含与其他数据集市相重复的数据。一个数据集市一般不会将另一个数据集市作为数据源。这样就会消耗额外的磁盘存储,增加重复数据迁移所需要的网络带宽,也会因从多个数据存储获取相同数据的需要而额外增加ETL处理的负荷。

  如果公司拥有多个数据集市,那么他们通常会将它们部署在不同的平台上,针对不同的硬件平台采用不同的维护方法。需要维护不同品牌和模型的服务器数量越多,成本就越高。如果是关键任务服务器,那么提供冗余性的重复硬件会加剧问题。不同的硬件通常需要运行不同的操作系统(OS)和不同的数据库管理系统。这样一来,购买的授权数量减少,平均授权费用增多。

  虽然单个大型数据仓库系统的初始成本高于一般数据集市,但是对于长期运营而言,更加划算。单个数据仓库系统可以根据当前需求调整规模,在有需要时增加容量。

  运营效率

  如果在多个服务器上运行多个数据库系统,那么有一些运营成本需要考虑:

  • 培训多个系统的人员
  • 监控多个系统
  • 修复多个平台的故障
  • 修补和更新多个系统

  在统一的操作系统和硬件平台上运行一个系统会更简单一些,成本也更低。另外,监控和故障修复也更加简单。

  在一些情况中,数据规模直接决定了系统规模。大容量数据需要组织起来,进行处理,才会产生价值。另外一些情况可以有多种选择。比如,可以选择使用多个数据集市或小型分段的数据仓库。如果将整个企业的信息整合为一个统一且安全的整体,那么许多企业都将获益更多。

  如果创建、运行和管理大型数据仓库的花费可得到缩减,那么一般来讲,企业内外数据的存储和分析也就获得了最佳解决方案。

翻译

曾少宁
曾少宁

TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。

相关推荐

  • 你的数据仓库平台选对了吗?

    购买数据仓库平台时有多种选择。尽管对它们进行评估并不需要复杂的流程,但是采用适当的步骤将有助于为企业的特定业务需求投资最佳的技术。

  • 数据仓库是你的菜吗?(一)

    尽管随着Hadoop和其他大数据技术的出现,越来越多的公司需要收集和分析来自不同数据源的数据,但数据仓库并没有因此而失去存在的意义。

  • 辉瑞制药摒弃ETL 走进数据虚拟化

    一直以来,辉瑞制药有限公司的全球药物科学部门都负责决定什么样的新药能够进入市场,然而曾经有一段时间,该部门却走到了技术的十字路口,难以决策。

  • BI分析型数据库的分类

    BI最开始的定义,尤其像是报表这种入门级应用,一般也是选用关系型数据库,但是列数据库(Vertica、Sybase IQ)可能成本会更有优势。