基于 CSV 查询 Azure Synapse Analytics 外部表答案

【问题标题】：Querying Azure Synapse Analytics external table based on CSV基于 CSV 查询 Azure Synapse Analytics 外部表
【发布时间】：2022-02-02 21:57:02
【问题描述】：

我在 Azure Synapse Analytics Serverless 中创建了外部表。文件格式为 CSV，它指向一个 Data Lake Gen 2 文件夹，其中包含多个保存实际数据的 CSV 文件。 CSV 文件会不时更新。

我想预见当用户在更新基础 CSV 文件时对外部表执行长时间运行的查询时可能出现的潜在问题。查询会失败还是结果集可能包含脏数据/不一致的结果？

【问题讨论】：

标签： csv serverless azure-data-lake azure-synapse

【解决方案1】：

因此，将 Synapse Serverless 池与 Azure 数据湖连接时没有问题。 Synapse 非常适合查询、转换和分析以及存储在数据湖中的数据。

Microsoft 提供了解释清楚的故障排除文档，以防出现任何错误。请参考Troubleshoot the Azure Synapse Analytics。

【讨论】：

谢谢回答。

【解决方案2】：

Synapse SQL 无服务器允许您控制行为。如果您想避免由于不断附加文件而导致查询失败，您可以使用ALLOW_INCONSISTENT_READS 选项。

您可以在此处查看详细信息： https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/query-single-csv-file#querying-appendable-files

【讨论】：

感谢您的回答。根据文档， ALLOW_INCONSISTENT_READS 选项将防止失败，但会引入错误结果（脏数据）。与可更新文件相比，可附加文件中错误结果的可能性最小化。鉴于在我们的案例中，csv 文件不仅附加了新记录，而且还大量更新，我想我们将更频繁地面对脏数据。
这是正确的假设，是的。