周三Snowflake公布了一系列正在开发的新工具，旨在帮助客户构建和管理生成式AI和机器学习模型，包括提供一项托管服务，可提供对该供应商大型语言模型的访问。

这些功能是在Snowday 2023期间推出，这是一个面向 Snowflake 用户的虚拟活动。大多数工具都处于预览过程的不同阶段，这些工具共同组成Snowflake 2024 年上半年的路线图。

Snowflake是一家数据云供应商，其平台使用户能够查询和分析数据，而无需执行很多提取、转换和加载过程-这些过程通常减慢数据管理和分析速度。

在过去两年的大部分时间里，Snowflake的主要优先事项之一是为金融服务、医疗保健和电信等行业的客户开发针对特定行业的平台版本。

然而，近几个月来，与大多数其他数据管理和分析供应商一样，Snowflake已将生成式AI作为其产品路线图的重点。

在5月份，该供应商收购了 Neeva 以增加生成式 AI 功能。一个月后，Snowflake 推出了容器化功能，旨在使用户能够访问生成式 AI 软件和其自己的大型语言模型 （LLM） 的私人预览版，名为 Document AI。

Snowday 推出的新功能包括 Snowflake 收购 Neeva 后产生的工具、Document AI 开发的进一步改进以及很多其他 AI 和机器学习 （ML） 功能。

专注于 AI

该供应商的产品高级副总裁Christian Kleinerman在10月26日的虚拟新闻发布会上表示，Snowflake的产品开发计划以人工智能成功为中心，开发强大的数据基础，并通过应用程序进行扩展。

Neeva的联合创始人、现任Snowflake的人工智能高级副总裁Sridhar Ramaswamy表示，关于人工智能成功，Snowflake的目标之一是将AI/ML集成到其整个数据云中。他们还旨在使客户能够使用自己的数据构建自己的 AI/ML 模型。

为了实现这些目标，Snowflake 正在开发 Cortex，这是一项完全托管的服务，现在处于个人预览阶段，为用户提供对 LLM 的访问，包括 Document AI；人工智能模型；和矢量搜索功能。此外，Cortex 还提供 AI助手，并支持跨企业内不同数据环境的通用搜索。

由于 Cortex 具有使用生成式 AI 的潜力，Ventana Research 的分析师 David Menninger 称 Cortex 是 Snowflake 在其虚拟活动中推出最重要功能。

他表示：“与所有软件供应商一样，Snowflake正试图在人工智能和机器学习领域发挥更积极的作用。Cortex 为 Snowflake 客户提供了基础，使他们更轻松使用 LLM 和生成式 AI 的基础。新功能使企业能够组合各种 LLM，包括专门的、特定领域的 LLM。

Constellation Research的分析师Doug Henschen同样表示，当Cortex推出时，它将成为Snowflake客户的重要补充。

然而，他指出，Snowflake在其虚拟会议中公布的几乎所有内容仍处于私人预览阶段。这意味着可能需要几个月的时间（也许要等到 2024 年 6 月的 Snowflake 峰会），这些功能才会成为该供应商公开募股的一部分。

Henschen 表示：“Cortex 完全处于个人预览阶段。但我们看到了如何在Snowflake平台上提供生成式AI和更传统的AI/ML的愿景。”

Cortex的功能包括：

• Specialized Functions，这个工具允许用户访问现有 LLM 和 AI 模型以加速分析。
• General-Purpose Functions，一组对话功能，可将 SQL 文本转换为代码，以便用户可以与其数据“对话”，然后通过向量搜索和向量嵌入提供背景信息以进行响应。
• Snowflake Copilot，这是LLM 驱动的助手，支持自然语言查询和编码。
• Universal Search，这是继承自 Neeva 的工具，允许用户跨数据库和其他可能不同的数据存储存储库查找相关数据。
• Document AI，这是LLM，可帮助用户从文档中的文本中提取数据。

所有产品均为个人预览版。但是，根据Ramaswamy的说法，当正式发布时，Cortex的巨大潜力是扩大数据的使用范围，并使任何与数据打交道的人都能在他们的角色中更有效率。

Ramaswamy 表示：“通过将核心功能直接引入 Snowflake，我们极大地扩大了每个Snowflake 用户都可以做的事情的范围。这使得对语言模型的访问民主化，而无需进行大量编程。”

他继续说，特别是自然语言处理功能（例如Snowflake Copilot和通用功能）可以提高数据工作者的工作效率。

他指出：“很多大公司实际上拥有数千名SQL分析师，他们整天坐着，以编写SQL为生。我们认为我们将大大提高他们的生产力。同样重要的是，这将使新人更容易使用SQL和数据。”

Horizon治理

虽然 Cortex 是 Snowflake 促进 AI 成功计划的关键部分，但 Horizon 是该供应商计划的关键部分，旨在帮助客户为为 AI 提供信息的数据奠定坚实的基础。

Horizon 是 Snowflake 的新治理层，它将该供应商的合规性、安全性、隐私性、互操作性和访问功能统一到一个环境中。

Horizon旨在通过将以前不同的功能整合在一起来简化数据治理。借助 Horizon，数据管理员不必在 Snowflake 中浏览各种不同的工具来监督其组织的数据，Kleinerman 称这是该供应商最重要的基础开发之一。

他表示：“我们正在简化我们的结构（治理）并引入下一代技术。所有这些都使客户能够为人工智能、生成式人工智能和机器学习奠定强大的数据基础。”

AI/ML 模型（包括生成式 AI 模型）需要高数据质量和完整数据的数据基础才能生成准确的输出。

尽管具有人工智能，但这些模型无法区分准确和不准确的数据，因此需要使用准确的数据对模型进行训练才能提供准确的响应。此外，生成式 AI 模型会提供查询响应，无论它们是否有正确的数据来通知这些响应。为了减少模型没有数据来正确响应查询时导致的 AI 幻觉的频率，用于训练模型的数据必须完整。

除了将以前不同的数据治理功能整合在一起以简化管理任务之外，Snowflake 还添加了新工具，旨在使数据治理更加完善。

• Data Quality Monitoring，使用户能够测量和记录数据质量指标，以确保他们使用良好的数据来训练模型并为决策提供信息。
• Data Lineage UI，以便客户可以查看其数据沿袭，以及在分析过程的某一部分中使用的数据如何影响以后相同数据的使用。
• Trust Center，用于将跨云安全性和合规性监控集中在一个位置。
• 新的数据分类可帮助管理员定义敏感数据。
• 新的隐私政策以保护敏感数据。
• 新认证，包括符合英国的 Cyber Essentials Plus、FBI 的Criminal Justice Information Services和 StateRAMP High，以及美国国防部对 AWS GovCloud 的Impact Level 4 Provisional Authorization。

新的认证和数据分类已正式发布，而数据质量监视和数据Lineage UI 则为个人预览版。隐私策略和Trust Center尚未进入预览阶段。

与此同时，统一数据治理功能的举措可能是该供应商对竞争对手Databricks和Google的回应，这两家公司最近统一其部分数据治理功能。

Databricks公司于 2022 年推出了 Unity Catalog，Google 于 2021 年推出了 Dataplex。

Henschen 称：“Horizon的推出，部分原因是对Databricks和Google等竞争对手的回应，这些竞争对手将目录放在首位。Snowflake 已经拥有了目录和多种治理功能。但他们现在正在将所有东西整合到Horizon下，并为未来提供更清晰、更全面的愿景。”

除了推出 Horizon 之外，新的数据基础功能还包括对 Apache Iceberg 表的支持，以及帮助客户管理使用 Snowflake 成本的新工具。

对 Iceberg 表的支持（即将推出公共预览版）旨在帮助客户将他们的数据整合到 Snowflake 的数据云端，以防止数据被隔离，并启用数据网格等新兴数据架构。

该供应商的Cost Management Interface（现为个人预览版）旨在帮助用户更好地预测和管理云计算成本，考虑到运行某些工作负载所需的时间以及运行这些工作负载所需的计算能力，这些成本可能会迅速超出预期。

事实上，Menninger表示，鉴于Horizon在很大程度上是对现有功能的重新包装，而云计算的成本也是一个日益受到关注的问题，因此成本管理界面对一些Snowflake用户来说可能比治理环境更具吸引力。

他表示：“客户可能会对正在引入的成本管理界面更加兴奋。成本管理一直是一个问题，客户对他们的 Snowflake 账单感到惊讶。这些新功能将使跟踪和管理成本变得更加容易，从而避免意外。”

其他新功能

Snowflake 的第三个产品开发主题是使企业能够使用应用程序进行扩展。因此，该供应商推出了 Snowpark 的新工具，这是 Snowflake 面向开发人员的平台。

Snowflake Notebooks 为用户提供了一个新的编程环境，Python 和 SQL 编码人员可以在其中处理数据，而 Snowpark ML 建模 API 通过预构建的框架简化了 Snowflake 中的模型开发。

此外，Snowpark ML Operations 中的新功能包括模型注册表，因此用户可以更轻松地在 Snowflake 以及商店中部署和管理模型，以便客户可以管理他们的模型并从中获利。

所有这些都处于预览的不同阶段。

Henschen 表示，就 Snowflake 的整体产品开发路线图而言，该供应商专注于 AI 成功、开发数据基础和扩展应用程序，这是正确的方向。

然而，他继续说，构成路线图的大多数工具甚至还没有处于公共预览阶段，这表明Snowflake的AI/ML开发可能会落后于同行。

Henschen说：“这是一组很好的公告。但是，由于有如此多的元素处于个人预览版中，我的感觉是，Databricks 和 Google领先于Snowflake，这两家公司已经在平台内拥有 AI、机器学习和生成式 AI 功能，并支持想要开发自己的 AI、机器学习和生成式 AI 功能的客户。”

同时，Henschen 和 Menninger 指出，Snowflake 在开发周期中比很多其他供应商更早推出产品，这可能有点误导。

因此，两人都表示，Snowflake应该等到明年夏天才能推出新功能。

Menninger说：“对于开发强大的功能，预览版非常棒，但客户可能会有点困惑，哪些功能处于哪个开发阶段。”

Henschen说得更直接：“我希望看到个人预览版和公共预览版阶段之间的滞后时间更短，或者 Snowflake以后只宣布几乎准备好用于公共预览的功能。”