GPU数据库:处理数据的新一代网红?

日期: 2016-06-11 作者:Jack Vaughan翻译:乔俊婧 来源:TechTarget中国 英文

Todd Mostak学生时代曾在Twitter上发文,对中东历史事件进行了大量分析。如今,他作为负责人,创建了MapD公司,该公司为用户提供建立在图形处理单元上的数据库。 2012年,Todd Mostak在哈佛大学完成论文并对两年前中东地区的Arab Spring起义做计算机分析。在分析的过程中,他遇到一些困难,如需要处理大量的社交媒体数据并在哈佛大学的服务器上获取处理时间。

为了解决这些问题,Mostak开始考虑将图形处理单元作为实现Twitter数据可视化的工具。 于是他决定开发一个GPU数据库。GPU在电脑游戏插件卡片上广泛使用,相对容易获取,比起通用的CPU,它可以提供足够的内存带宽……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

Todd Mostak学生时代曾在Twitter上发文,对中东历史事件进行了大量分析。如今,他作为负责人,创建了MapD公司,该公司为用户提供建立在图形处理单元上的数据库。

2012年,Todd Mostak在哈佛大学完成论文并对两年前中东地区的Arab Spring起义做计算机分析。在分析的过程中,他遇到一些困难,如需要处理大量的社交媒体数据并在哈佛大学的服务器上获取处理时间。为了解决这些问题,Mostak开始考虑将图形处理单元作为实现Twitter数据可视化的工具。

于是他决定开发一个GPU数据库。GPU在电脑游戏插件卡片上广泛使用,相对容易获取,比起通用的CPU,它可以提供足够的内存带宽。

Mostak所做的工作需要创建Twitter数据的计算机可视化。可视化可以描述动乱地区事物的兴衰,人们情绪的起伏,允许用户转发到到个人Twitter。他发现GPU可以提供足够的宽带,能够处理来自Twitter之外的其他数据。

基于建立一个专门在GPU上运行的数据库管理系统的想法,Mostak着手创建了一家公司。2014年,他和同事们估计,系统可以在几十毫秒运行10亿行Twitter数据的分析。最近他的公司MapD,在2016年Strata+ Hadoop世界大会上发布了同名GPU数据库和分析平台。

低级别的调优

Mostak的团队通过在GPU数据库内存缓存活动数据,使用低级别虚拟机(LLVM)框架并创建系统动态编译查询来调整MapD平台,必要时可以支持矢量化查询。

MapD首席执行官Mostak表示,MapD的产品是一个柱状数据库,专门用于并行运行在GPU核心上的SQL查询,目的是为复杂的数据集提供直接的视觉洞察。GPU可以进行数据分析并将分析结果呈现给用户。

SQL柱状数据库的基础系统工作在麻省理工学院完成,Mostak加入麻省理工的计算机科学和人工智能实验室,与数据库工程师Michael Stonebraker一起工作。

“我可能对计算机科学更感兴趣,”Mostak说。

数据,洞察力

早期采用者形容结合可视化和处理能力的MapD包尤其适合GPU。Verizon Communications公司的首席架构师Abdul Subhan建议,MapD更适合快速分析大量数据的用例。他估计该产品可以在毫秒内完成32亿行数据集查询。

“数据库之所以这么快,是因为它利用了GPU的真正威力,所以几乎可以立即得到可用的数据,”他说。

他表示,比起基于Hadoop的产品,MapD的SQL接口更具优势。后者需要特定的编程语言、技能和知识。相比之下,MapD前端支持数据库管理员和系统管理员熟悉的典型数据加载样式。Subhan评估产品着眼于每单位功率和空间消耗的成本与查询速度。总的来说,“这只是迈出了一小步,”他说,这表明在2U服务器配置GPU可以大大减少主机的要求。

分析机构Gartner 给予了MapD高度评价,并将公司列入“2016DBMS优秀供应商”之一。Gartner分析师Nick Heudecker报告中表示,用户面对快速到达的数据寻找系统态势感知,应该考虑使用GPU数据库。与此同时,他指出MapD也面临着挑战,因为它涉及到了组织不熟悉的GPU。

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

乔俊婧
乔俊婧

关注商务智能及虚拟化领域技术发展,专注网站内容策划、组稿和编辑, 负责《数据价值》电子杂志的策划和撰稿。喜欢桌游,热爱音乐,吃货一枚。

相关推荐