如何使用逻辑应用将 Azure SQL 数据库中的大表导出为 CSV

Question

我致力于 Azure 逻辑应用的概念验证。我有一个有 70 列和 1000 万行的表。我使用逻辑应用程序导出数据并上传到 FTP。

该过程适用于小型数据集（3000 行）；但是，该过程在整个表上都失败了。

我收到以下错误消息：

错误请求。 Http 请求失败，因为出现错误：'无法写入 缓冲区的字节数超过配置的最大缓冲区大小： 104857600。'

逻辑应用步骤：

1. 复发
2. SELECT 语句 - 失败
3. 创建 CSV 表
4. 上传到 FTP

请指教。我可以使用存储过程并将其批处理为 5,000 行，但我不确定如何在逻辑应用程序中实现它。

Answer 1

根据this 文档，处理 FTP 文件时，文件的 HTTP 消息大小限制为 100 MB，文件大小限制为 50 MB。如果连接器支持，您可以使用chunking 来解决这些限制。