Informatica姜炜:大数据时代更应注重数据治理

日期: 2012-06-26 作者:孙瑞 来源:TechTarget中国

大数据背景下,每个企业都希望从海量数据中挖掘更大的价值。但随之而来的是企业IT系统以及数据类型复杂程度日益加深,根据分析机构Gartner的观点,大数据已经影响到传统认识和业务模式,企业如不具备应对大数据冲击的能力,那大数据本身也将具有极大的破坏力。

  面对如此严峻的问题,企业该如何下手?在近期举行的Informatica大数据媒体沟通会上,Informatica中国区高级技术顾问姜炜向TechTarget记者阐述了他对大数据的理解,并表示在大数据时代,数据治理仍然是一个重要的目标。姜炜认为,大数据是一个相对的概念,用现有成本无法处理的数据量,才能称其为大数据。同时在处理速度和数据类型上,大数据较传统数据也存在这一定的差别。

  大数据是数据治理的一部分

  姜炜表示,大数据对于整个IT界来说是一项新技术,蕴含在极大的商业价值。在新的技术趋势下,由于具备大容量、多结构化、增长速度快和价值密度低等特点,大数据治理需要借助新的技术手段和管理思路。姜炜认为,无论是传统数据还是大数据,数据治理都不是一个项目,而是一种体系和过程。该体系关注于信息系统执行层面,其目的是整合IT与业务部门的知识和意见,通过将流程、策略、标准和组织的有效组合,对企业的信息化建设进行全方位的监管,需要企业高层的授权和业务部门与IT部门的密切协作。数据治理项目包括四个关键要素:技术、策略和流程、标准和定义、组织。其中,技术要素包括数据访问、数据转换、数据质量、元数据、数据交互等等,从大数据定义来看,这种创新的技术应该归属到数据治理的技术范畴中。

  数据治理涵盖于企业的整个信息化建设过程,它涉及每个系统,包括所有业务核心系统、数据仓库、ECIF、风险管理、合规支持等,它需要一个统一的管理平台进行管理,而这个平台支持各种数据技术,包括元数据管理、数据标准管理,以及主数据管理平台、数据质量管理平台和数据服务平台,最终实现所有数据的全方位监管,实现端到端的数据梳理和管理,确保数据的有效性、可访问性、高质量、一致性、可审计和安全性,这也是数据治理的六大目标。

  姜炜表示,要做好大数据,首先要做好数据治理。Informatica在大数据治理以及数据集成方面一直是走在最前面,通过最新的Informatica平台,企业用户能够实现广泛的数据连接,既能实现海量交易数据的广泛连接功能,又可接入到海量社交互动数据,并且还针对海量数据处理的Hadoop平台开发了很多创新技术。姜炜认为这点非常重要,数据的广泛连接性是数据治理的重要基础。

  强势进军Hadoop:Informatica要让数据治理变得更简单

  大数据环境造成了结构化数据、半结构化数据和非结构化数据并存的格局,采用昂贵的设备进行数据治理当然好,但巨大的成本压力已成为很多企业难以承受的负重。姜炜表示,Hadoop这种可以更容易开发和运行处理大规模数据的软件平台,能够以更经济的方式、更好的性能来处理数据,从而获得了企业的青睐。Informatica数据集成平台已经提供了对Hadoop架构的良好支持,使用户能够提高大数据的投资回报:

  • 通过数据接入拓展了其交互性,包括社交媒体数据,并且可将其通过批量或实时的方式导入Hadoop。
  • 通过在Informatica中利用图形数据设计数据集成任务及流程,提高了生产力,并且可将设计直接部署在Hadoop中进行自主执行。
  • 借助通用数据整合平台,提高了所有企业数据的可管理性,包括Hadoop中的数据。

  此外,Informatica还推出了基于Hadoop环境的解决方案HParser和Xmap。HParser是Hadoop环境下的数据编译转换解决方案,该方案可以运行在几乎所有的Apache Hadoop分布式环境中,与MapReduce架构平行,能高效率地把非结构的复杂数据,诸如网络记录、社交媒体数据、通话详细记录以及其他数据格式等转换为Hadoop中结构或半结构格式。姜炜表示,在Informatica的线路图中,HParser是帮助企业利用大数据的重要里程碑,旨在帮助企业用户最大化其数据投资回报。

  不难看出,Informatica最新的大数据集成平台是一款功能十分强大的产品,但根据TechTarget记者的了解,国内包括一些互联网行业的客户在内,他们更倾向于使用一些开源的技术自己搭建平台或者工具。对此姜炜表示,这一问题并不仅仅存在于互联网行业当中,开源技术并不代表这免费,随之而来的是系统复杂程度攀升,而用于维护这样系统的成本也许并不比购买定制化的产品低。Informatica在这方面一向是宣传标准化、简单化的理念,在全球范围来看它是一个发展的趋势。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

孙瑞
孙瑞

相关推荐