大数据背景下,每个企业都希望从海量数据中挖掘更大的价值。但随之而来的是企业IT系统以及数据类型复杂程度日益加深,根据分析机构Gartner的观点,大数据已经影响到传统认识和业务模式,企业如不具备应对大数据冲击的能力,那大数据本身也将具有极大的破坏力。
面对如此严峻的问题,企业该如何下手?在近期举行的Informatica大数据媒体沟通会上,Informatica中国区高级技术顾问姜炜向TechTarget记者阐述了他对大数据的理解,并表示在大数据时代,数据治理仍然是一个重要的目标。姜炜认为,大数据是一个相对的概念,用现有成本无法处理的数据量,才能称其为大数据。同时在处理速度和数据类型上,大数据较传统数据也存在这一定的差别。
大数据是数据治理的一部分
姜炜表示,大数据对于整个IT界来说是一项新技术,蕴含在极大的商业价值。在新的技术趋势下,由于具备大容量、多结构化、增长速度快和价值密度低等特点,大数据治理需要借助新的技术手段和管理思路。姜炜认为,无论是传统数据还是大数据,数据治理都不是一个项目,而是一种体系和过程。该体系关注于信息系统执行层面,其目的是整合IT与业务部门的知识和意见,通过将流程、策略、标准和组织的有效组合,对企业的信息化建设进行全方位的监管,需要企业高层的授权和业务部门与IT部门的密切协作。数据治理项目包括四个关键要素:技术、策略和流程、标准和定义、组织。其中,技术要素包括数据访问、数据转换、数据质量、元数据、数据交互等等,从大数据定义来看,这种创新的技术应该归属到数据治理的技术范畴中。
数据治理涵盖于企业的整个信息化建设过程,它涉及每个系统,包括所有业务核心系统、数据仓库、ECIF、风险管理、合规支持等,它需要一个统一的管理平台进行管理,而这个平台支持各种数据技术,包括元数据管理、数据标准管理,以及主数据管理平台、数据质量管理平台和数据服务平台,最终实现所有数据的全方位监管,实现端到端的数据梳理和管理,确保数据的有效性、可访问性、高质量、一致性、可审计和安全性,这也是数据治理的六大目标。
姜炜表示,要做好大数据,首先要做好数据治理。Informatica在大数据治理以及数据集成方面一直是走在最前面,通过最新的Informatica平台,企业用户能够实现广泛的数据连接,既能实现海量交易数据的广泛连接功能,又可接入到海量社交互动数据,并且还针对海量数据处理的Hadoop平台开发了很多创新技术。姜炜认为这点非常重要,数据的广泛连接性是数据治理的重要基础。
强势进军Hadoop:Informatica要让数据治理变得更简单
大数据环境造成了结构化数据、半结构化数据和非结构化数据并存的格局,采用昂贵的设备进行数据治理当然好,但巨大的成本压力已成为很多企业难以承受的负重。姜炜表示,Hadoop这种可以更容易开发和运行处理大规模数据的软件平台,能够以更经济的方式、更好的性能来处理数据,从而获得了企业的青睐。Informatica数据集成平台已经提供了对Hadoop架构的良好支持,使用户能够提高大数据的投资回报:
- 通过数据接入拓展了其交互性,包括社交媒体数据,并且可将其通过批量或实时的方式导入Hadoop。
- 通过在Informatica中利用图形数据设计数据集成任务及流程,提高了生产力,并且可将设计直接部署在Hadoop中进行自主执行。
- 借助通用数据整合平台,提高了所有企业数据的可管理性,包括Hadoop中的数据。
此外,Informatica还推出了基于Hadoop环境的解决方案HParser和Xmap。HParser是Hadoop环境下的数据编译转换解决方案,该方案可以运行在几乎所有的Apache Hadoop分布式环境中,与MapReduce架构平行,能高效率地把非结构的复杂数据,诸如网络记录、社交媒体数据、通话详细记录以及其他数据格式等转换为Hadoop中结构或半结构格式。姜炜表示,在Informatica的线路图中,HParser是帮助企业利用大数据的重要里程碑,旨在帮助企业用户最大化其数据投资回报。
不难看出,Informatica最新的大数据集成平台是一款功能十分强大的产品,但根据TechTarget记者的了解,国内包括一些互联网行业的客户在内,他们更倾向于使用一些开源的技术自己搭建平台或者工具。对此姜炜表示,这一问题并不仅仅存在于互联网行业当中,开源技术并不代表这免费,随之而来的是系统复杂程度攀升,而用于维护这样系统的成本也许并不比购买定制化的产品低。Informatica在这方面一向是宣传标准化、简单化的理念,在全球范围来看它是一个发展的趋势。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
Cambridge Analytica秘密收集Facebook数据表明对道德数据挖掘的需求
当有关Cambridge Analytica公司秘密收集Facebook数据的消息传出时,这暴露了一个薄弱环节 […]