【发布时间】:2020-08-06 10:45:05
【问题描述】:
我在我的数据工厂中使用 gzip 压缩定义了 parquet blob 数据集。这些文件具有“.parquet”扩展名。在过去的 6 个月中,复制活动和数据流与这些 parquet blob 一起运行良好。
今天我在编辑管道时开始收到以下验证错误:
Gzip compression in data flow only supports files with ".gz"
extension. Please update the file name configuration or choose another
compression type.
ADF 服务有什么变化吗?
我在哪里可以了解更多关于这一重大变化以及何时引入的信息?
【问题讨论】:
-
我没有找到任何相关的公告。而且,这里没有抛出这样的错误。这是我发布的镶木地板文件:0730bowmanwindow.blob.core.windows.net/test3/output.parquet,没问题。可以试试吗?
-
您使用的是 gzip 压缩吗?如果是,您可以返回并尝试在 ADF 中验证您的数据集吗?
-
你是这个意思吗? i.stack.imgur.com/eFbCU.png
-
没有验证错误,我可以成功获取值。
-
很抱歉文件 url 坏了,现在可以了:0730bowmanwindow.blob.core.windows.net/test3/output.parquet 我不确定您的镶木地板文件可能有问题?你可以试试看。
标签: azure gzip azure-blob-storage azure-data-factory