DBA养成记:从通才到专才

日期: 2015-03-01 作者:Lockwood Lyon翻译:曾少宁 来源:TechTarget中国 英文

DBA现在可以扩大自己的职业描述,加入关于这个大数据存储的管理职责了。

他们的管理任务包括:

        配置磁盘存储

        软硬件的安装与调优

        系统、网络与DBMS调化

        帮助完成数据架构修改

        分析查询性能调优

DBA的另一个新任务是与管理人员协调,从而调整他们的工作优先级。IT策略规划包含企业中多个现有应用程序和新应用程序。大数据仍然是新的,除了要有安装、性能和调优的知识,DBA还迫切需要掌握新环境的维护知识。大数据是否需要实现用于保证安全性或恢复的备份机制?如果出现灾难事件,是否能够在灾难恢复站点自动创建好数据、硬件和软件?当老数据没有用时,它们是否可以删除?

DBA现在必须用自己的知识去开发大数据应用程序的支持计划。其中包括:

        升级大数据硬件和软件

        容量规划;即内存、磁盘存储及其他与DBMS或IDAA设备特有的资源

        使用哪些查询/分析工具去查询数据

        数据容量评估

        数据最常用的分组方式(有时称为维度)

DBA还需要协助分析人员和应用程序所有者。他们需要提供关于数据模型和业务用例的咨询,帮助查询写数据和调优方法,以及收集关于数据维度的信息。最后一项是非常重要。数据维度是指数据的分组汇总方式。常见有例子包括按时间(每日、每月)、按地理位置(州、城市、商店)、产品类型、销售组织等。由于一个维度的数据(如当月)通常都用一个查询就能访问,所以DBA可以通过将数据存储在物理相邻的位置而提高性能。一个常用的方法就是按时间维度逻辑或物理划分数据。月份1的数据存储在文件1中,月份2的数据存储在文件2中,以次类推。这种划分方法有几个优点,其中包括:

       并行访问,针对不同维度的多个查询可以并发执行

       更快速的备份与恢复,因为当前数据比历史数据更重要

       更简单的净化或存档,因为最旧的数据最可能出现在一个分区中

DBA的管理很可能需要划分职责。由于安装了不同的硬件、软件和DBMS,所以最好要给一些标准支持任务指派一些多面手,如查询性能调优、收集指标和管理备份与恢复。然后,再指派一个或多个专业人员学习成为新技术专家。然后,他们会在团队内部分享知识。

大数据分析

大数据应用程序看上去是一个信息宝藏。但是,如何访问它呢?通常,供应商会提供专门用于自动创建和执行大数据查询的软件包。同时,许多IT部门也已经有使用超大规模数据库(VLDB)的经验,并且也开发了一些内部的商务智能系统。

商务分析师通常很熟悉如何查询数据,它们一般存储在一个企业数据仓库(EDW)中。企业数据仓库通常包含一个或多个包含交易数据的事实表,以及有更多列举分组维度值的维度表(如上所述)。这种查询知识可以很好地延用到大数据应用程序上,但是有一点例外:大数据将最终(如果还未发生)包含一些分析人员不熟悉的数据类型。此外,随着数据容量的增加,所编写查询的执行性能越来越重要。这意味着分析人员与DBA必须一起协作。

通常,DBA可以分析查询,收集性能指标,以及推荐可选的查询语法或其他性能改进手段。在大数据环境中,这一点变得更加重要。虽然有一些商务分析软件可以专门用于生成高效的查询,而且大数据应用程序解决方案也承诺能够提供高性能存储,有时候问题就是数据真的太多了。另一个需要考虑的问题是,随着分析人员越来越熟悉新软件和数据,大数据应用程序查询的数量与复杂度也会不断地增加。

数据容量越大,查询数量越多,就越可能越频繁地使用大数据解决方案。这是好事!这也意味着,性能可能会变成一个问题。通过让分析人员与DBA共享这些查询来作好这方面的计划,同时要协调好时间和性能选择。

小结

管理技术人员通常包括划分任务的优先级,然后给它们分配可用的资源。然而,大数据应用程序的出现及本文所提到的工作职责的扩大都会不可避免地扩大其职责范围和所需要专业技能。管理层的自然反应就是将团队划分为通才和专才。

通才会将他们的职责向维护任务偏移。通才的任务和流程应该清晰详细记录在案。这是因为,大多数通才最终都希望变为专才。这样管理层就可以拿下通才的任务,将它们变成自动任务,或者将它们外包给其他公司。

专才将开始承担新的职责。他们需要接受硬件/软件解决方案的培训,并且必须掌握整个企业范围内数据和应用程序相关的知识和经验。这个过程可能需要一定的时间;然而,如果想要实现成功的大数据应用,这个过程是必不可少的。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

翻译

曾少宁
曾少宁

TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。

相关推荐