采矿设备制造商利用BI on Hadoop来挖掘数据

日期: 2018-10-01 作者:Jack Vaughan翻译:邹铮 来源:TechTarget中国 英文

如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据,并且,处理数据摘录仍然是常态。

几年前,大量BI on Hadoop工具涌现,但很少特别突出的工具。不过,随着实验性Hadoop数据应用程序进入生产阶段,人们开始追求更好的数据分析工具。

这吸引了相当多的BI初创公司,他们争相通过利用BI on Hadoop成为Hadoop和大数据领域的企业明星—类似于Business Objects或者Tableau。Arcadia Data Inc.、AtScale、Datameer、Dremio、Pentaho等公司都在努力使更多人能够访问大数据。

按原样分析数据

Forrester分析师Boris Evelson表示,很快,这将意味着将BI引入到数据所在的位置,而不是将数据带到BI工具所在的位置。

Evelson称:“大多数现代BI平台仍然是将数据带到BI,其中BI工具和数据库在不同的平台,数据需要对BI进行优化。”

Evelson认为Hadoop和Apark都是可同时支持数据库管理系统(DBMS)和应用程序平台的现代平台。现在,用户可在DBMS所在的相同平台运行数据,这为企业提供优势,因为按原样分析数据可扩展BI用例,而不是在数据处理和移动后分析数据。

当数据挖掘遇到矿产挖掘

小松矿业公司(Komatsu Mining Corp.)等公司希望寻找更多数据以及更迅速地在企业内外分享数据BI分析结果。

为了提高效率,这家位于密尔沃基的采矿设备制造商结合了各种工具和存储库,包括Hadoop、Spark、Kafka、Kudu和Cloudera的Impala软件以及BI on Hadoop分析工具制造商Arcadia Data的集群分析软件。

根据小松矿业数据解决方案高级经理Jason Knuth的说法,这个现代化平台已经整合用于分析现场设备收集的传感器数据,以跟踪大型铲斗和推土机的磨损情况。小松矿业隶属于位于东京的小松集团。

与其他公司一样,小松集团预见到未来物联网应用数据将实现更好的预测性和规范性设备维护。

大数据流分析是该任务的关键,并且,数据流非常快速。Knuth称,传入时间序列数据点可达到每秒20万,而每秒100万个数据点的峰值也并不罕见。这些数据是操作的副产品,但可洞察未来。

Knuth在最近Strata Data大会上接受采访时表示:“你必须学会理解故障模式和机器的生命周期。”

计划,而不是预测

这些工作经验使他在小松的数据科学和预测分析中发挥作用。在他的工作中,他更喜欢计划,而不是预测。

Knuth称:“我们通过机器数据来预测未来状态。”

最近,Knuth一直致力于将数据和分析交给更多客户,以及全球六个地区工作的更多的小松同事。

他说:“我们的目标是使数据民主化;将信息传达给人们。”

小松的重点是所谓的良性信息三元组,即机器、分析和人。

BI on Hadoop应用程序仍处于早期阶段,Knuth与软件供应商密切合作来调整其Arcadia Enterprise以便从这个本地群集内分析引擎快速获取可视化分析。

Knuth赞扬Arcadia与他的团队密切合作,以减少并发用户的延迟。这种延迟一直是大多数BI on Hadoop供应商的目标,这些供应商必须最终匹配SQL分析引擎多年来建立的性能水平。

Knuth称他的团队正在构建BI仪表板以及优先排序数据处理,因为有些事件生成的警报必须尽快处理,而其他事件可能可更悠闲地处理。通常,单个用户对实时内容的看法可能会有所不同。

AI注入的黎明

Arcadia营销副总裁Steve Wooledge表示,尽管整个行业都在推动人工智能注入的应用程序,但多个并发用户的分析交付问题很重要,而且必须解决。

Wooledge称:“你可以拍出漂亮的照片,但如果只是为了五个用户,那就没有那么有用。”

他指出,流数据的交互式查询正成为大数据分析组合的一部分。今年早些时候,Arcadia发布Arcadia Instant软件,该软件可帮助提供原生Apache Kafka数据的可视化,主要通过支持SQL dialect以及瞄准实时数据来实现这一点,SQL dialect由流媒体公司Confluent创建。

对于他来说,Knuth称,Kafka和Kubernetes正成为该公司分析平台的基石。但同样的,仍处于早期阶段。Knuth称他的团队刚刚开始使用KSQL数据引擎,他觉得很有前景。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

邹铮
邹铮

相关推荐