Amazon Web Services:为云数据抓取注入新的活力

日期: 2016-12-20 作者:Jack Vaughan翻译:杨宏玉 来源:TechTarget中国 英文

预见未来是很困难的,从Amazon Web Services history中可以略窥一二。现在,云领域的领导者们似乎准备在数据管理层面上“大做文章”。 前几年,我的工作就是预测未来。当然,使用的技术主要基于XML构建,并不像听起来那么玄妙。

XML是处理未定结构数据的基础,这在当时是一项很伟大的技术。但我想,如果我当时预见到Amazon Web Services history在XML上的应用,我就可以真的对未来有所预测。 现在,我看到了未来,那就是扩展分布式体系结构势在必行,企业必须摆脱一体机和专有软件的束缚。这在AWS re:Invent 2016大会上有所展示,那就是Amazon We……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

预见未来是很困难的,从Amazon Web Services history中可以略窥一二。现在,云领域的领导者们似乎准备在数据管理层面上“大做文章”。

前几年,我的工作就是预测未来。当然,使用的技术主要基于XML构建,并不像听起来那么玄妙。

XML是处理未定结构数据的基础,这在当时是一项很伟大的技术。但我想,如果我当时预见到Amazon Web Services history在XML上的应用,我就可以真的对未来有所预测。

现在,我看到了未来,那就是扩展分布式体系结构势在必行,企业必须摆脱一体机和专有软件的束缚。这在AWS re:Invent 2016大会上有所展示,那就是Amazon Web Services history,该项目始于10年前。会议上对该技术进行了重点介绍,包括一个新的数据管理和分析产品,这为AWS在云中的迅速成长创造了条件,尽管Oracle CEO Larry Ellison和其他人并不这么认为。

Web Services如何服务

虽然这种网络服务最初对数据体系结构影响不大,但事情正在发生改变。随着大数据管道的应用越来越广泛,在Amazon和其他一些地方,数据管理和分析正在改变服务体系结构。

Amazon公司的技术管理可以确保团队通过服务接口暴露正确的数据。它并不是开源软件社区的旁观者,它积极地使用HTTP RESTful服务,这成为开放源代码风格的一个标志。投入生产环境的时候,公司没有迟疑,迅速行动,使用了一个后来被称为DevOps的模式。

事实证明,REST对于云计算架构使用的大型商业计算机兼容性良好。当Amazon意识到在高度分布式计算中领域,那些领先的技术供应商有什么优势时,它就开始销售云端计算服务。

Amazon在云端取得了瞩目的成绩,并宣称今年的收入达到了138亿美元。它在不停地新增功能,其中许多新增功能开始涉及到数据管理。

云端的数据

Amazon从一些引人瞩目的领域切入,如NoSQL数据库DynamoDB和Amazon Relational Database Service。但当它在2014年发布其海量并行云数据仓库Redshift时,技术水平令人震惊。“把你的数据仓库从本地部署搬离,迁移到云中,”这种想法是划时代的。

接下来,更多技术出现。Redshift后是Aurora,一个MySQL关系数据库。Amazon公司一直在不断发展,并在最近几个月,Aurora的更新引入了基于Lambda “无服务器”的服务存储过程,并支持从Amazon Simple Storage Service (S3)进行数据摄取,此外这次更新还提供了控制台集群视图。

在最近的re:Invent会议上,Amazon发布了兼容PostgreSQL的Aurora预览版。Aurora 也加入到了Amazon Athena和AWS Glue的数据阵容中,前者可以在S3上进行即席SQL数据查询,后者提供数据编目和数据格式转换服务。

Amazon CTO Werner Vogels说, Amazon Web Services引入数据管理应对一些用户对软件的不满,比如软件无法满足他们的快速迁移请求,以及他们的扩展需求。数据管理和XML或Web服务,铺平了由数据驱动的未来。

备份“卡车数据”

在At re:Invent会议上,Vogels强调了云端数据方法的重要性。他表示,云技术可以让IT资源更加方便地访问数据,但仍然需要重点关注数据质量。

“这与以往的情况不同了,因为你可能会在数据仓库花很多钱,你会真正获得竞争优势,”Vogels说,“现在每个人都可以拥有一个数据仓库。”

同样,每个人都可以拥有一定的数据处理能力。在这种情况下,数据质量以及数据管理方式将是这些企业之间最主要的区别。

数年来,Amazon一直在将数据从IT商店迁移到云中。在re:Invent会议上,它宣布将加快这一进程。事实上,会议上Amazon推出了AWS Snowmobile的概念,用来提供EB级的数据传输。

不像我们看到Amazon送货车到处递送包裹那样,“卡车”将你的数据运载到AWS设施中,在那里转移到Amazon云中,这并不是遥不可及的事情。我相信,它将很快出现在我们面前。

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

杨宏玉
杨宏玉

TechTarget特邀编辑。北京邮电大学计算机科学与技术专业硕士。熟悉软件开发流程,对系统管理,网络配置,数据库应用等方面有深入的理解和实践经验。现就职于IBM(中国)投资有限公司,从事IBM服务器相关软件的开发工作。业余时间喜欢游泳登山,爱健身,喜欢结交朋友。

相关推荐