逻辑应用 - 使用路径获取 Blob 内容

Question

我有一个事件驱动逻辑应用程序（blob 事件），它使用路径读取块 blob 并将内容上传到 Azure Data Lake。我注意到逻辑应用程序失败，读取一个大文件（~6 GB）时出现 413（RequestEntityTooLarge）。我了解逻辑应用的限制为 1024 MB - https://docs.microsoft.com/en-us/connectors/azureblob/，但有什么办法可以解决这种情况吗？我正在研究的替代解决方案是将此步骤移至 Azure Function 并从 blob 中获取内容。感谢您的建议！

Answer 1

如果你想使用 Azure 函数，我建议你看看这篇文章：

• Copy data from Azure Storage Blobs to Data Lake Store

您可以将AdlCopy 工具的独立版本部署到您的 Azure 函数中。

因此，您的逻辑应用将调用此函数，该函数将运行命令将文件从 Blob 存储复制到您的数据湖工厂。我建议你使用 powershell 函数。

另一种选择是使用 Azure 数据工厂将文件复制到数据湖：

• Copy data to or from Azure Data Lake Store by using Azure Data Factory

您可以创建一个从 blob 存储复制文件的作业：

• Copy data to or from Azure Blob storage by using Azure Data Factory

有一个连接器可以触发从逻辑应用运行的数据工厂，因此您可能不需要 azure 功能，但似乎仍然存在一些限制：

• Trigger Azure Data Factory Pipeline from Logic App w/ Parameter

Answer 2

您应该考虑使用 Azure 文件连接器：https://docs.microsoft.com/en-us/connectors/azurefile/

它目前处于预览阶段，它比 Blob 的优势在于它没有大小限制。上面的链接包含有关它的更多信息。

Answer 3

为了其他可能正在寻找此类解决方案的人的利益。 我最终在 C# 中创建了一个 Azure 函数，因为我的设计动态解析 Blob 名称并根据 Blob 名称创建 ADL 结构。我已使用分块内存流来读取 blob 并将其写入 ADL，并使用多线程将 Azure Functions 的时间延长到 10 分钟。