高质量的决策通常都是从机器生成的琐碎日志文件数据中获得的。随着互联网的扩张,日志文件迅速累积,已成为企业中最重要的非结构化数据类型之一。对此,IT专业人士可以大展拳脚。
日志文件为机器性能和用户体验都提供了重要资源。如果将它们与其他数据一起分析,几乎能够得到所有类型的洞察力:流量服务监控器连接体验、医疗设备仪表盘、电台网络连接听众活动和宣传方案结果等。
人们还找到了日志文件数据更多的用途,致使企业大量关注收集索引这些机器生成数据(即原始大数据)的软件。
诸如IBM、SAS、Informatica这些大厂商开始研发收集日志数据的工具,而像Loggly、Sumo Logic和Splunk这样的小厂商则专注于日志数据应用的需求。最近,Splunk以近两亿三千万美元的IPO吸引了广泛的关注,不仅仅是那些原有的数据中心客户。同时,Splunk发布了功能丰富的“运营智能平台”云软件。
很显然,该软件已经不是普通的IT系统管理软件,不过管理通道仍然照旧。
正如Cricket Communications的案例,如果能够减少客户流失、迅速处理并预测妨碍用户体验的网络问题,电信供应商的业务一定能够发展得更好。连接运营日志活动对于决策制定非常重要。
Cricket的高级运营经理Ty Prinkki说道:“我们公司是最早使用Splunk产品的企业之一。”当时,Prinkki和同事希望通过攫取日志数据监控音乐下载的用户访问量。
日志活动的成功使用将有助于收集到更多的日志数据。正如Prinkki在今年年初的一次Gartner ITxpo大会上所说:“我们开始的时候每天有200GB的数据量,到了今天已增至2TB,以后我们还会更多地开发日志方面的潜能。”
据称,日志数据收集帮助Cricket调整了产品的重点。“我们从日志中获得了洞察力,也就获得了设备的洞察力。”这些数据还能够运用到客户支持上,让工作人员根据具体的用户访问量发现客户问题。
在某些情况下,日志数据应用软件可用于复杂事件流程。Splunk被广泛应用于各个领域——医疗系统中的智能探测网络,旅行网站中的客户偏好分析,银行中的欺诈行为检测。
野村证券同样使用了Splunk的日志分析,并将其扩展到高性能的业务活动监控(BAM)上。
在野村证券,延迟就等于利益的损失。Splunk就像系统的一部分,针对应用错误生成警告,对问题根源进行分析,并将事件与系统程序和企业资产数据库进行关联。这与该公司购买Splunk的预期不符,却意外收获了一系列使用案例。
日志数据的潜能还有待开发。有人指出,日志数据应用软件工具可用作针对大数据应用的Apache Hadoop的替代;另有人把日志数据软件应用和Hadoop分析架构软件视为互补关系。
近期,Splunk发布了对数据进行实时收集、索引和分析的Splunk Hadoop Connect,该工具获取的数据可以直接用于Hadoop归档和批量分析。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
数据太多Hold不住?Hadoop数据治理来“救场”
当LinkedIn还是一家规模较小的公司时,它从社交网站上获取的数据是如何被格式化和结构化的,似乎并没有人关注。
-
将数据治理工具渗透到企业中有多难?
对于主流大数据用户来说,数据治理是一个大问题。最近,IT供应商已经宣称使用开源以及商业数据治理工具来管理基于Hadoop的数据湖中的数据。
-
遇到Hadoop性能问题很头疼?监控集群很重要
大数据系统中,数据并非唯一需要管理的内容。数据科学家和其他用户所运行的查询也必须进行监控,以确保他们不会在Hadoop和Spark集群中陷入困境。