Snowflake Summit 2022重要技术看点

Gauss松鼠会探花 2022-07-19 15:30:00

Unistore

Unistore 的目标是消除公司处理的最常见的数据孤岛之一，即交易数据和分析数据。

3’.png

通常，公司将交易数据存储在针对交易进行了优化的传统数据库中。这些数据库具有基于行的表结构，专为快速插入和更新而设计。

另一方面，数据仓库经过优化，可以存储和处理用于分析的数据。仓库中的底层表结构是基于列的，允许更高效地从存储中读取和写入数据——查询的快速返回。

很简单，Unistore 使两种类型的数据都可以存储在同一个地方，每种类型都保持其固有的优势——使 Snowflake 用户能够对事务数据运行实时分析查询。

Unistore 还为公司提供了利用其交易数据做更多事情的可能性，例如直接在仓库上构建交易业务应用程序。

Snowpark for Python

对于在现代数据堆栈的以 SQL 为中心的人来说，我们有时会暂时忘记 Python 的重要性。但是它可以说是世界上最流行的计算机语言，也是数据科学和机器学习的工具。

Snowflake 一直在稳步与 Python 建立协同作用，包括去年宣布与 Python 创建者 Anaconda 建立合作伙伴关系以及推出 Python Dataframe API。

3‘’.png

在拉斯维加斯，Snowflake 宣布了“Snowpark for Python”，它为 Snowflake 的开发者平台带来了对 Python 的原生支持。目标是让数据科学家、机器学习工程师和开发人员更容易使用 Snowflake。这样，不仅能够利用 Python 语言，而且能够利用库、框架和工具的整个 Python 生态系统。

Snowpipe streaming

Snowflake分布了一种在 Snowflake 中提取数据的新方法：Snowpipe streaming。他们重构了Kafka 连接器，并使其在数据到达 Snowflake 时立即可查询，从而将延迟降低 10 倍。这将在今年晚些时候公开预览。

Native Apps

Snowflake 推出了“原生应用程序框架”，允许开发人员在他们的 Snowflake 实例中构建应用程序，而这些应用程序的最终消费者可以在他们的 Snowflake 实例中安装和运行它们。这个新框架的目标是节省将数据移动到应用程序所需的时间和精力。除此之外，在数据所在的位置运行应用程序可以提高运行时性能并创建高度安全的工作环境（这些应用程序也受益于 Snowflake 的安全和治理框架）。

本机应用程序框架的另一个主要好处是货币化。开发人员可以通过在 Snowflake Marketplace 上发布他们的应用程序，直接向 Snowflake 的 6000 多家客户销售他们的应用程序。Marketplace 于 2020 年作为数据交换平台推出，允许 Snowflake 客户相互买卖数据集。但现在，它已经不仅仅是一个数据贩卖平台——许多评论员将其比作苹果和谷歌的应用商店。

如果你和我一样，你会想知道——我们在这里谈论的是什么类型的应用程序？首先想到的是前面提到的 Streamlit 应用程序，以及基于事务数据的应用程序，这些应用程序现在可以通过 Unistore 实现。

这两者绝对是 Snowflake 为原生应用程序框架所考虑的一部分。但是，目前，Snowflake 正在考虑这样一个事实，即 400 多名客户已经在仓库之上构建了自己的应用程序。迄今为止，最引人注目的例子之一是 Capital One 的“Slingshot”，它旨在简化 Snowflake 供应流程。

随着时间的推移，Slingshot 演变成一种提供多种额外优势的解决方案，例如管理 Snowflake 成本和自动化数据治理。Capital One 认为它的应用程序非常好，值得出售给其他 Snowflake 用户，Snowflake 也同意。Slingshot 成为市场上首批可供购买的应用程序之一。

Apache Iceberg支持

Snowflake 的外部表将支持 Apache Iceberg[1]。Apache Iceberg 表是用于大型分析表的高性能格式,它为大数据带来了 SQL 表的可靠性和简单性，同时使 Apache Spark、Trino、Flink、Presto 和 Hive 等引擎能够同时安全地使用相同的表。