开源大数据技术仍处于实验期

日期: 2012-08-14 作者:Brian McKenna翻译:茶一峰 来源:TechTarget中国 英文

今年以来,开源大数据技术在英国的企业中陷入了僵局。

  Channel 4的CTO Bob Harris在Computer Weekly会议中说到,企业实施大数据项目通常都需要采用新技术。

  “有一些数据问题无法在传统数据库中得到解决,因为数据量变大了。我们的用户是从2011年开始使用MapReduce技术的,该软件非常尖端,但我认为它也只是补充性工具。”

  KPMG咨询服务公司的合伙人之一Eddie Short负责公司的BI实践,他说:“虽然目前很多主流企业都开始涉及大数据,但他们纯粹是出于技术层面上的考虑,无法太超前,毕竟CIO掌控着IT架构的大局。”

  KPMG鼓励员工不要把大数据太当真。Short说:“这是一个实验的过程,要做好失败的打算。”他还提到,大数据真正成为主流,还有一个“大裂口填补”(a big chasm building)的阶段。

  目前大家使用的开源技术Hadoop,其实很大程度上也只是实验阶段。

  “想要找到不是试用阶段的软件很难。这也算是IT业的‘行规’了,万事还得靠钱说话。不过从理论上来讲,如果你能通过信息,运用大数据实时分析出结果,并为市场所用的话,那么将实现一个极为成功的案例。”

  然而,这样的概率很小。

  就像BAE Systems Detica公司的数据总监Steve Shelton所说的,“如果实施方法不对,那么大数据浪费的开销对企业来说将是一个不小的打击。”

  Shelton提到了公司的几个客户,他们受到大数据潜能的吸引,部署之后才发现这些工具用处不大,损失惨重。

  由于大数据技术开源软件(如Hadoop)的局限性,许多企业在做决策的时候都在挣扎。

  他认为,在任何情况下,这些系统与历经多年的企业模型相比,都是不成熟的;尤其在文件编制方面,Hadoop稍微好一点,Storm(Python推出的程序库)就比较差了。

  除此之外,还有一个不可避免的问题,就是安全性。Shelton说:“有些软件根本没有内置的安全保护。Hadoop比较安全,但也只能放到可信任的网络中来看。我们是在一个物理上独立的网络中运行Detica的。”

  Shelton提到,他们公司的客户对于Hadoop及其补充性技术的实施还处于非常早期的阶段。

  “这是一项长远的工程,一两年内无法完成。”

  Recommind(一家财务与法律服务方向的企业调研公司)的CEO Bob Tennant是这么评价大数据技术的:Hadoop在数据获取方面表现不错,但它的“批量化”处理方式使实时数据管理变得很难,而且远未达到满足金融机构对安全性需求的阶段。“但是由于大数据容量的不断增长,企业必须迈出这一步。”

  Teradata产品市场主管Martin Willcox表示,Hadoop和其他大数据技术确实为数据分析软件带来了全新的发展空间。

  “大数据技术目前存在局限性,还不适用于所有企业。Hadoop对数据的捕捉性能非常出色,但企业用户还需要对数据的种类进行筛选。这就造成了IT与业务之间传统关系的转变——现在已经不再是企业设想出会产生的问题、IT技术随之进行架构开发与支持的时代了;而是,业务人员需要通过一个迭代过程,来发现问题。”

  他略带一点警示意味地说:“现在所有的大数据技术都是由程序员为程序员而开发,这会给企业分析师的使用带来巨大的障碍;毕竟在企业中,既为统计师、程序员出身,又对业务有着深刻理解的人凤毛麟角。”

  Willcox提到Teradata公司的Aster数据技术可为SQL和Hadoop搭起一座桥梁。

  他说:“大数据BI就像一个家庭开的作坊,有三个人在地下室里工作。要使它变得和传统BI一样工业化,就需要这样的‘桥梁’。”

  Willcox称,Teradata大数据产品的客户群体主要还是集中于美国西海岸一带。在欧洲、中东和非洲市场,他们预计的客户群体是零售商、银行和高端制造商。然而,欧洲感兴趣的人很多,但受了炒作影响,真正购买的并不多。

  他认为欧洲市场缺乏明显的业务重点。“很多人实施大数据项目,安装了Hadoop集群,对数据进行捕捉,却不知道它的价值在什么地方。”

  在Computer Weekly会议中,Hadoop开源架构的设计者之一Doug Cutting说:“大数据技术并没有突然之间就跨越了裂口(crossing the chasm),从硅谷技术公司连接到了主流企业;我感觉到的只是它在稳步增长而已。”

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

相关推荐