卫星影像数据中包含很多信息,但其难以挖掘成为长时间以来困扰人们的问题。如果使用者想通过数据库寻求有用的信息,那么影像处理和检索的方式就尤为困难。而公司若用Hadoop进行数据分析,就能更好的处理相关数据。
Skybox Imaging是通过数据分析充分利用卫星影像中包含的数据的一家公司。该公司搭建并运营高分辨率的影像卫星,为客户提供影像和数据。影像数据能够显示出货船航行的速度、建筑工程完成的进度或者停车位的剩余程度。
要完成这样的任务并不容易。Skybox航空工程师兼产品研制副总裁Julian Mann说,一般用户自己无法识别卫星的源数据。
Mann说:“你从摄像机中取得单独一帧画面,用电脑中普通的图像软件打开,你什么都看不到,因为那是很原始的感官输出。”
公司组织和分析数据的过程很有意思。Skybox与Cloudera合作分布Hadoop。Mann说,处理卫星影像的数据密集型性质时要用到Hadoop软件框架。之后Skybox的客户就可以在公司平台上嵌入他们自己的算法,使用分析引擎按自己的意图处理数据。农业相关客户可以监测庄稼,运输和供应链公司可以监测车辆,油气公司可以评估土地面积。这一切都基于使用Hadoop观察影像数据的变化。
卫星影像未必是最新的,但研究卫星影像变化的方法一定要是最新的,这就有赖于在影像数据库中使用Hadoop。Mann表示,借助Hadoop,用户可以集合数据,使之标准化,并建立索引,创造关联。在接下来的四年里,卫星影像行业会增长到每年15PB的数据。这需要Hadoop这样强大的分析引擎组织和分析这些数据。
数据的爆炸迫使影像和智能定位公司寻求全面管理数据的方法,但是很多方法都把许多内部资源放到数据库管理操作。Mann说这正是Skybox选择与Cloudera合作的原因。这种管理方式可以使Skybox专注于它的长处,比如分析地理空间遥感数据,而让Cloudera管理它更擅长的方面,比如应用Hadoop。
在处理繁重分析业务的公司中有懂得数据库的员工,对公司来讲或许是件好事。Mann说既然有供应商愿意完成具体细节的装置工作,公司就不必花费资源在这上面。这些组件的外包使得业务人员能够充分利用数据分析,提升业绩,而不是要变成应用Hadoop的专家。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
数据太多Hold不住?Hadoop数据治理来“救场”
当LinkedIn还是一家规模较小的公司时,它从社交网站上获取的数据是如何被格式化和结构化的,似乎并没有人关注。
-
将数据治理工具渗透到企业中有多难?
对于主流大数据用户来说,数据治理是一个大问题。最近,IT供应商已经宣称使用开源以及商业数据治理工具来管理基于Hadoop的数据湖中的数据。
-
遇到Hadoop性能问题很头疼?监控集群很重要
大数据系统中,数据并非唯一需要管理的内容。数据科学家和其他用户所运行的查询也必须进行监控,以确保他们不会在Hadoop和Spark集群中陷入困境。