我们可以使用雪花作为数据驱动的 Web 应用程序的数据库吗？

Question

我是 Asp.Net MVC/SQLSERVER 开发人员，我对所有这些都很陌生，所以我可能走错了路。

我通过谷歌搜索了解到 Snowwflake 可以从 AWS-S3、Google Storage 和 Azure 中放置/获取数据。雪花也有他们的数据库和表格。 我有以下问题，

1. 当您可以使用 Cloud Storage（S3 等）和 Talend 或任何其他 ETL 工具计算数据时，为什么还要使用 Snowflake？
2. 我们可以使用 Snowflake 作为数据驱动 Web 应用程序的数据库吗？如果是，您能否提供链接或其他内容？

再一次，我对所有这些都非常陌生，并希望您能从中获得想法和最佳工作方式。

提前谢谢你。

Answer 1

当您可以使用 Cloud Storage（S3 等）和 Talend 或任何其他 ETL 工具计算数据时，为什么还要使用 Snowflake？

您在这里谈论的是三种不同类别的技术产品，它们并不等同：

Snowflake 是一个数据库平台，与其他数据库技术类似，它提供数据存储和元数据以及用于数据操作和管理的 SQL 接口。

AWS S3（和类似产品）为任何类型的文件提供可扩展的云存储。您通常需要实施其他技术（例如 Spark、Presto 或 Amazon Athena）来查询以文件形式存储在云存储中的数据。 Snowflake 还可以利用云存储中的数据文件，将文件作为“外部表”直接查询或使用 COPY 语句将数据加载到 Snowflake 本身。

Talend 和其他 ETL 或数据集成工具用于在源平台和目标平台之间移动数据。通常这将是从业务线应用程序（例如 ERP 系统）到数据仓库或数据湖。

所以在考虑 Snowflake 时需要考虑三件事：

1. 您的分析数据将存储在哪里？是云存储中的文件、加载到数据库中还是两者兼而有之？每种情况都有优点和缺点。

2. 您想如何查询数据？您很可能需要支持使用 SQL 查询的东西，如上所述，有许多技术支持云存储中文件的 SQL。但是，如果将数据加载到专用的分析数据库中，查询性能通常会显着提高。

3. 数据将如何从数据源传输到分析数据存储库，无论是什么？通常，这将涉及第三方 ETL 工具，或推出您自己的解决方案（最初可能是一个更便宜的选择，但可能会成为重大的管理和支持开销）。

我们可以使用 Snowflake 作为数据驱动 Web 应用程序的数据库吗？

理论上，答案是肯定的。这在很大程度上取决于您的 Web 应用程序的功能，因为 Snowflake 是一个专为分析而设计的数据库，即处理大量数据以找到问题的答案。它不是为涉及大量更新和插入少量数据的系统设计的事务性数据库。例如，Snowflake 不支持参照完整性等功能。
但是，如果您的 Web 应用程序是一个分析应用程序（例如，它具有可以查询大量数据的嵌入式报告，并且用户通常会读取数据而不是添加数据），那么您可以使用 Snowflake 作为分析部分的后端，尽管您可能仍希望使用传统数据库来管理用户和会话等数据。

Answer 2

您可以使用其中一个连接器将您的 Web 应用程序连接到 Snowflake，例如 https://docs.snowflake.com/en/user-guide/odbc.html

Snowflake 擅长处理难以扩展和调整的大型分析工作负载。例如，如果您想要将许多（数百万/十亿）个事件聚合到仪表板中，那么 Snowflake 可能是一个不错的选择。