大数据无处不在，而且大多数大型IT企业都安装了一个或多个大数据应用程序。这些应用程序能够快速访问大容量的数据，其中通常是客户数据或销售数据。十年前并没有支持这些应用程序的技术人员及分析使用这些数据的系统。

那么，谁可以胜任这些新的IT专业人员呢？你又应该如何管理这些人员呢？

数据采集支持

大数据应用的数据通常来自于会通过操作系统的交易数据快照。任何包含客户、价格、费用、产品、帐户及相关信息的数据流都是数据来源。一般而言，你可以捕捉、存储和分析的流越多，分析结果的准确性和详细程度就越高。

假设有一个包含日常客户交易的文件。每一个交易都可能包含销售产品和销售数据，其中包括日期、已购产品、价格、已售数量、购买位置等。这些信息适合用于分析哪些产品是最受欢迎的，哪些产品通常会被一起购买，以及特定的产品在全年什么时候或什么地理位置的购买频率最高。

然而，关于客户的信息呢？他们居住地点在哪里？为什么他们会到这个位置？增加客户地址信息可以帮助分析这些信息。

数据采集人员负责了解IT企业可以使用的各种数据来源。此外，他们还必须知道公司购买的外部数据源。分析过程必须涵盖所有这些数据。

此外，这些专业人员还必须与业务分析人员协调和沟通，因为业务分析人员希望知道有哪些数据可以使用，或者他们可能会请求特定的数据。其结果是一份有意思的职业描述，它必须包含多个企业应用的信息、客户数据和IT最佳实践，如数据建模技术和企业数据模型。

这些专业人员需要提升自己关于当前运营系统的知识。其中包括他们需要提供什么数据，以及谁会使用这些结果？他们会成为几个领域的关键问题专家。这使他们成为公司内部懂得数据可用性和查询可行性的重要咨询师和顾问。

另一个新领域是半结构化和非结构化数据。有一些新的复杂数据类型，如大对象（LOB）、可扩展标记语言（XML）、语音与视频文件等等。这些新数据类型可能会产生一些混淆。它们是如何存储和搜索的？许多商务分析软件提供了处理这些新数据类型的方法。

这些专业人员的管理也需要一定的培训时间和资源。其中一些培训会专注于新硬件和软件，但是大多数培训是关于内部应用程序与系统的交叉培训。数据分析人员需要理解整个企业的数据。

大数据存储

一开始时，大数据应用程序一般都比较简单，即使它很大！正如前面所提到的，第一个应用程序通常会包含与客户相关的数据流。这会给业务分析人员提供一个熟悉的查询数据源，而且这些分析通常会生成关于客户偏好的指示器，如偏爱的产品。然后，它会给公司产生一些可操作的分析结果，如分级产品价格、销售量、折扣或与地理位置想着的产品或价格变化情况。

一开始，数据是存储在一个高性能数据库管理系统（DBMS）中，如DB2；或者在一个大数据混合硬件/软件设备中，如IBM DB2 Analytics Accelerator (IDAA)。DB2数据库和IDAA解决方案都支持复杂查询，但是不同的数据容量、查询复杂性等因素会让它们有不同的性能。

其结果是一个必须管理才能支持高密度查询的大数据存储。这与一般的运营系统（如订单记录）完全不同，因为后者一整天都会非常频繁地出现新数据。在大数据应用程序中，大数据存储的快照会捕捉并加载到DBMS中。然后，数据库管理员必须负责实现快速的数据访问。这可以通过各种方法实现，其中包括内存管理、增加数据索引、使用调整磁盘阵列或使用混合解决方案（类似于前面的IDAA）。

然后，DBA现在可以扩大自己的职业描述，加入关于这个大数据存储的管理职责了。

了解DBA职业描述，继续阅读《DBA养成记：从通才到专才》。