瑞典游戏网站King.com由于面临大量来自Facebook的大数据,重新设计了公司的数据架构。
King.com成立于2003年,据称已成为目前世界上最大的娱乐社交游戏网站,类别涵盖拼图、推理、字谜、动作、卡牌和运动游戏等。
Bubble Witch Saga和Candy Crush这两部作品已经吸引到超过六千万的注册用户,而这些用户每月玩到的游戏数量多达50多亿。
Bubble Witch Saga/King.com
King.com的游戏库中共有150多种免费游戏,从游戏内部产品中盈利,包括促销和实况形式,当然也通过广告。
公司数据仓库主管Mats-Olov Eriksson提到,系统在没有使用大数据技术的情况下维持了一段时间,但来自Facebook的数据量越来越多,MySQL数据库已经无法处理。
如果每天一百万用户,没什么问题;但King.com在2012年年底已经达到了10倍以上的用户数量。
除此之外,还有速度的需求。“MySQL在生产环境中需要等待的时间太长了,哪怕添加一个栏都需要等。”
构建Hadoop数据仓库
Eriksson是线上环境的分析数据架构师出身,对数据市场和网络游戏都十分熟悉;他目前在King.com的业务部门中负责数据的存储和处理,兼顾数据分析环境的维护。
他的团队由六名开发人员组成,在接下来的几个月中还将扩充五人,最终建立起一个Hadoop数据仓库团队。
Eriksson自称是开源技术的拥护者,倾向于实施以元数据为导向的数据仓库案例。用他自己的话说,即“以比较不那么结构化的方式记录数据,追踪更多的游戏用户互动信息。”
经历了一系列测试之后,他们在2012年实施了Cloudera的分布式Hadoop,并称该架构为他们提供了游戏使用模式和偏好的洞察,同时包括游戏行为分析,比如玩家超越或过不了某一关卡的情况。
“根据数据,我们会评估游戏每个级别的失败率和难易程度,以作优化。”
灵敏的分析途径
分析团队使用的工具十分广泛——QlikView(报表工具)、Apache Hive(数据查询)、R(开源统计程序语言),还有SAS和IBM SPSS的统计软件。
Eriksson说:“允许人们大量进行实验有着很大的内在价值。从短期来看也许不那么有效;但如果你身处这个开放和创造性的环境中,同样珍视这一观念的人才就会涌现,他们不断尝试和实验新的工具,最终造就了我们的成功。”
“Cloudera就是这一环境中的同仁,为我们提供了竞争优势,我们现在可以运用非常灵敏的系统进行用户追踪。我们通过付费市场吸引玩家,因此我们需要了解市场的ROI,我们需要掌握一切信息。如果没有这些,我们不敢投资,收益就会降低;我们会像无头苍蝇一样,失去方向。”
Eriksson表示,今年年底他们将使用Cloudera的实时查询技术Impala;不过,Eriksson对于“实时”的价值持保留态度。
“我不太喜欢这个说法,但是数据仓库系统确实会变得越来越接近实时,用户也会从中获得更佳的体验。在业务方面,如果某款游戏的性能出了问题,我们能够更加及时地进行修复。”
另外,Eriksson对于目前数据科学的时兴也颇有微词。
“很遗憾,现在每个人都在谈论数据科学,好像在处理数据上除了它就没有什么值得一谈的了。比方说,系统维护不像数据科学那么热门,但是比数据科学重要得多——所有的分析流程都在系统中完成。”
“在数据集中化领域,我们需要更多能够为其他人提供便利的架构师。现在就好像每个人都想成为统计学家,而我希望看到更多的人对系统架构表现出兴趣。”
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
Cambridge Analytica秘密收集Facebook数据表明对道德数据挖掘的需求
当有关Cambridge Analytica公司秘密收集Facebook数据的消息传出时,这暴露了一个薄弱环节 […]