如何在数据工厂中解压缩包含 TAR 文件的压缩文件夹，其中包含压缩文件，每个文件都包含 CSV 文件？

Question

我目前正在学习如何使用 Azure 数据工厂。我尝试进行我在 Python 脚本中所做的数据摄取和转换。现在我尝试在数据工厂上做同样的事情，因为它应该更容易。

我有一个压缩文件夹。它包含 Tar 文件。每个文件都包含压缩的 cvs 文件。通过将 csv 文件直接摄取到 blob 中当然很容易，但是如果我必须自动接收这样一个压缩文件夹，如果我什至无法弄清楚如何解压缩，我将如何将 csv 加载到数据库中, detar 并再次解压缩？在这种情况下，我使用来自真实案例研究的气候数据......如果您知道如何处理这个问题，我将不胜感激！提前谢谢！！！

Answer 1

基于official document，adf blob 存储数据集仅支持以下压缩类型：

adf 自然不支持 Tar 格式。但是，您可以遵循同一文档中提到的解决方案，使用 Azure Function to extract the contents of a tar file 或使用自定义 dotnet 活动构建此功能。考虑到您的情况稍微复杂，我建议您使用自定义活动。