大数据在更快、更深入地解析更多信息,使企业、政府、研究机构等能够以一种以前只能想象的方式去理解这个世界的同时,也带来很多挑战,比如企业怎样解读信息,怎样管理数据带来的政治问题,以及怎样寻找必需的人才来理解新信息的洪流。
也就是说,大数据为数据分析的游戏增添了更大额的赌注——侵犯隐私的可能性增加,在快速变幻的市场中的财务敞口加大,把噪音当真知灼见的可能性增加,把大量金钱和时间用于界定不清晰的问题或机会的风险加大。
大数据人才在哪里
找到有能力使用Hive、Pig、Cassandra、MongoDB或Hadoop等数据分析工具的人才只是一个开始。没有几家公司的内部专家能够从业务角度证明花钱聘请大数据专家的价值,更不用说对求职者的优劣展开评估。很多管理人员也缺乏基本的数学能力,所以如何找到能够掌握更复杂统计机制的决策者,也有可能是一种挑战。
本图呈现了大数据的投资现状、用途和所存在的一些问题。
让事情更加复杂的是,大数据工具还没有做好大范围推广的准备:它们仍在快速演化,大多数高校都没有相应课程,供应商的支持不够理想,对用户灵活性的要求也高于更成熟的工具。考虑到这种情况,寻找合适人才的重要性只增不减。
再进一步:要让大数据发挥作用,程序员和分析师还要了解所涉行业的基本情况。比如说,一家制药企业的数据分析师注意到,近乎实时的销售终端数据显示1月份阿司匹林销量大增,于是他们说,流感愈演愈烈。但在调动销售资源开展大规模广告活动并增加产量之前,不妨把当前的销售型态与过去几年的情况做个比较。阿司匹林销量增加也可能是很多人在参加新年前夜的聚会之后出现了宿醉反应。如果分析师不了解业务以及应该问的问题,那么公司就有可能在花了很多钱之后一次次地走进死胡同。
最后是IT安全。如果说很多公司真的没有能力使用大数据工具,那么它们肯定也没有能力保障数据安全。收集到的信息越多,可能遭到泄露或窃取的信息也就越多。
信息即权力
人们常常认为掌握信息就会在组织内部掌握权力。显然,不管是谁来决定大数据时代该衡量哪些东西,这个决定者都会积累越来越大的权力。
另外,跨越组织边界的信息分享是大数据的属性之一,它可以颠覆传统的权力关系。
以一家在加拿大和美国各有一座工厂的公司为例。来自传感器的数据流显示加拿大工厂出产的发动机拥有97%的可靠性,美国工厂发动性的可靠性只有80%。突然之间,加拿大工厂管理人员在组织内部的地位可能就会升高,让美国工厂的管理人员感到惊慌。
公司的效益可能会得到改善,但高管必须做好管理内部政治的准备。
再举一个例子。大数据使人有机会衡量先前无法衡量的东西。如果一家大型零售企业现在可以更快速、更方便地衡量消费者对不同营销活动(不管是运动广告、杂志优惠券还是报纸广告)的反应,不同的利益相关者在组织内部的相对地位可能就会发生变化。他们也有可能对社交媒体团队产生憎恨,因为后者会用点击率数据来证明他们有能力或没有能力拉动销售收入。
原先要用几个月时间来规划、执行的流程现在可能只需几分钟就能评估完毕,将会进一步加剧上述颠覆过程。多年习惯了评估年度销售业绩的人常常很难应付每周甚至是每天的收入数据。按老一套办法管理的人可能会发现自己已经落伍于新的世界。
发掘大数据的价值
一旦知道信息即权力,有人可能就会投机取巧,损害公司的利益。
比如说,一家大公司开始以公司被Twitter提及的次数为指标来跟踪网站流量,跟踪结果在高管的Twitter活动一览表(dashboard)上持续更新。
一支销售团队的经理原先主要是通过贸易展会来获取线索并最终达成销售,然而当推特提及次数成为关键衡量指标之后,这位经理改变了部门的重点,宣称“我们要拿下dashboard”。到头来这个部门可能确实是拿下了dashboard,但这样一来,它强调的就不是曾经大获成功的展会,而是没有优质线索、无利可图的网站点击量和社交媒体流量。
大数据处理方式
普通数据库大约已经存在了35年的时间,所以人们有了很多经验,这些工具的理解和运用相对容易。相比之下,大数据还在萌芽阶段,所以组织、理解其深层意义的技术仍然处在起步阶段。
另外,理解如此大规模的信息也不是一件容易的事情。安全大师布鲁斯·施奇纳(Bruce Schneier)如此总结很多人的数学能力:“一个,两个,三个,很多个。”电子表格仍然是很多公司的主要定量分析工具,但它远远不足以用来实时衡量某个城市特定时刻道路上的汽车数量,或者是本周联邦政府在交通项目上的支出。
视觉化对于这类数据可以起到极大的帮助作用,但这个领域仍不成熟,其特殊语言也没有多少人懂得。
培养大数据思维
在如此大的规模层面上思考问题意味着什么?我们怎样才能学会针对主城道路上每一辆汽车、大型连锁零售店每一位顾客的智能手机、或配送车上每一个隔夜包裹所发出的信息提出问题?怎样才能让更多的商人学会按统计概率而非偶然事件思考?由于《点球成金》(Moneyball)这本书及同名电影的缘故,其中涉及的方法已经为球迷所熟知。但他们也将记得,这样的方法是怎样给一个组织带来了天翻地覆的变化,并被竞争对手模仿。
从某些意义上讲,它要求人们用一种全新的方式打量这个世界。
但优秀管理的原则也适用于大数据领域。在企业能够利用大数据获利之前,管理人员必须拒绝迷失在噪音当中,放任它掩盖客户、价值和执行这些基本力量。大数据的数量、速度和多样性可能会显得陌生,使人很容易在数字海啸面前晕头转向。
所以,坚守扎实分析的基本原则总是至关重要。还要记住,数字可能会告诉你一些以前根本都不知道要问的事情,但数字从来不会自己说话。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
Cambridge Analytica秘密收集Facebook数据表明对道德数据挖掘的需求
当有关Cambridge Analytica公司秘密收集Facebook数据的消息传出时,这暴露了一个薄弱环节 […]