Databricks为Lakehouse平台增加新的开发人员工具

日期: 2023-03-07 作者:Eric Avidon翻译:邹铮 来源:TechTarget中国 英文

Databricks周二在其Lakehouse平台中添加了一个新工具,使开发人员能够在熟悉的集成开发环境中编写和测试代码,然后再将其连接到Databricks集群。

Databricks成立于2013年,总部位于旧金山,是一家数据湖仓供应商,其平台将数据仓库的结构化数据存储功能与数据湖的非结构化数据功能相结合。

此前,尽管该供应商支持开发人员以多种方式处理他们的数据,但这项工作必须在 Databricks 环境中完成。

现在,随着Visual Code Extension for Databricks的公共预览版发布,这家供应商使开发人员能够在将Visual Studio Code(VS Code)迁移到Databricks之前构建数据、增强智能和机器学习模型和应用程序。

VS Code是微软于2015年推出的集成开发环境(IDE),开发人员通常将其用于大量操作。这包括编辑、测试、调试和控制持续集成/持续交付(CI/CD)管道。

新功能

Visual Code Extension本质上使开发人员能够在将熟悉的工具移动到Databricks湖仓之前,在他们最熟悉的环境中使用该工具。TreeHive Strategy的创始人兼负责人Donald Farmer表示,这对开发人员来说意义重大。

他指出,很多开发人员发现不得不在他们喜欢的开发环境之外工作是令人沮丧的。

他表示:“Visual Code Extension对于使用Visual Studio的开发人员很有用,对于他们来说,在另一个 IDE 中工作真的很沮丧。”

Farmer补充说,当供应商强迫数据工作者在特定环境中工作,而不是熟悉的环境中工作时,这可能会成为部署的障碍。通过推出Visual Code Extension,Databricks试图让潜在客户更容易与该供应商的湖仓合作。

Farmer 称:“这一发布表明,这已经成为部署的障碍。因此,我们很高兴看到Databricks倾听社区并做出改变。”

事实上,据供应商的产品管理总监Tarek Madkour说,在Databricks开发Visual Code Extension的决定中,社区发挥了重要作用。

Madkour说,随着Databricks为其湖仓添加功能,以支持现有客户并吸引新客户,其主要动机是使数据工作者尽可能成功。在尝试这样做的过程中,该供应商经常与客户沟通,以了解用户希望添加到Databricks平台的内容。

熟悉是一个共同的主题。为开发人员提供熟悉的环境是开发可视化代码扩展的动机。

Madkour 称:“我们希望在开发人员熟悉的地方与他们会面,我们希望开发人员能够使用他们熟悉的工具,并利用这些工具提高工作效率。Visual Studio Code是业内最受欢迎的代码之一。”

更多IDE扩展

VS Code并不是开发人员用来构建模型和应用程序的唯一IDE。另一个流行的是PyCharm,一个用Python编程的环境。

因此,Databricks的路线图包括开发类似于Visual Code Extension的工具,使开发人员能够使用PyCharm和其他编程环境来构建应用程序和模型,然后再将它们移动到Databricks湖仓中。

此外,Databricks计划向Visual Code Extension添加更多功能。在公共预览版之前,它处于个人预览版,现在任何 Databricks 客户都可以访问它。该扩展不会增加他们的订阅费用。

根据Madkour的说法,尚未确定全面上市的日期。

他表示:“接下来会发生的是两个维度,有更深入的虚拟工作室代码集成,还有其他类似于可视化代码扩展的工具,例如PyCharm支持。

根据Farmer的说法,Databricks很聪明地将其部分路线图放在为其第一个扩展添加更多功能,以及向其他扩展添加扩展。

他特别指出,RStudio(R编程语言的IDE)用户在使用Databricks时遇到困难。湖仓供应商的一些客户在处理 CI/CD 工作负载时也遇到了问题。

Famer称:“RStudio用户对Databricks集成感到沮丧,我还听说人们发现很难用Databricks运行CI / CD流程。这是可能的,但笨拙。”

更广泛的路线图

根据Madkour的说法,除了对IDE的扩展之外,Databricks的路线图还将侧重于增强其湖仓平台的数据治理能力。

该供应商在一年前推出预览版后,于 2022 年 6 月推出Unity Catalog,使企业能够更轻松地组织和管理其数据。他们计划继续添加功能。

此外,Madkour指出,Databricks看到了很多机会,例如与ChatGPT等新技术开发集成,以及其他AI工具–该供应商可以用来开发无代码/低代码功能。

他表示:“我们已经进入生成式人工智能的新世界,我们都听说过ChatGPT和其他大型语言模型。这将打开全新的世界,我们可以让我们的客户做更多事情。想想那些不一定懂代码但喜欢访问数据的人。这对Databricks来说是一个新的机会。”

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

翻译

邹铮
邹铮

相关推荐

  • 企业商业智能的10大好处

    商业智能(BI)软件的起源可以追溯到20世纪60年代基于大型机的决策支持系统,随后BI技术在不断发展,以应对数 […]

  • 生成式AI会取代数据分析师吗

    生成式AI不会取代数据分析师的工作。在很多领域,人工智能都无法取代人类,特别是那些需要人类同理心和洞察力的领域 […]

  • 改进数据可视化的7项技能

    数据可视化可以实现可操作的洞察力和卓越的业务成果。但构建有效的数据可视化可能很困难。如果你想创建数据可视化,你 […]

  • 了解BI生命周期以构建有效的架构

    成功的数据驱动运营遵循商业智能(BI)生命周期,定义BI能力,并部署良好理解的治理架构。 该过程的前提是,你必 […]