【问题标题】:How to uncompress rar files using Azure DataFactory如何使用 Azure DataFactory 解压缩 rar 文件
【发布时间】:2020-07-20 08:09:34
【问题描述】:

我们有一个新客户,在登陆项目时,我们为他们提供了一个 blob 存储空间供他们留下文件,以便我们以后可以自动化和处理信息。

我们的想法是使用 Azure Datafactory,但我们发现无法处理 .rar 文件,甚至 .zip 文件(来自 Windows 的文件)也给我们带来了麻烦。而且由于是客户端提供 .rar 格式,因此我们希望确保在要求他们更改文件或部署数据块或类似服务只是为了转换文件之前没有办法处理。

有什么方法可以从 blob 存储中获取 .rar 文件,解压缩,然后进行处理?

我一直在查看 this 之类的帖子和相关的官方文档,我们最接近的是使用 ZipDeflate,但它似乎不能满足我们的要求。

提前致谢!

【问题讨论】:

  • 仅支持压缩的类型是 GZip、Deflate、BZip2 和 ZipDeflate。目前不支持 .rar 文件。
  • 对于[不支持的文件类型和压缩格式][1],数据工厂提供了一些解决方法。
  • 嗨@monkey实习生,如果答案对你有帮助,你可以接受它作为答案。这对其他社区成员可能是有益的。谢谢你。祝你有美好的一天!

标签: azure compression azure-data-factory azure-data-factory-2


【解决方案1】:

仅支持数据工厂压缩的类型为 GZip、Deflate、BZip2 和 ZipDeflate。

对于Unsupported file types and compression formats,数据工厂为我们提供了一些解决方法:

您可以使用 Azure 数据工厂的可扩展性功能来转换不受支持的文件。两个选项包括 Azure Functions 和使用 Azure Batch 的自定义任务。

您可以在extract the contents of a tar file 看到一个使用 Azure 函数的示例。如需更多信息,请参阅Azure Functions activity。

您还可以使用自定义 dotnet 活动构建此功能。更多信息可通过here获取。

接下来,你可能需要弄清楚如何使用 Azure 函数来提取 rar 文件的内容。

【讨论】:

    【解决方案2】:

    您可以使用逻辑应用 您可以使用调用 runbook 的 webhook 活动

    两者都比使用自定义活动更容易

    【讨论】:

      猜你喜欢
      • 2011-12-26
      • 2013-05-12
      • 2020-01-15
      • 1970-01-01
      • 1970-01-01
      • 2021-01-15
      • 1970-01-01
      • 2021-02-07
      • 2020-09-18
      相关资源
      最近更新 更多