将本地 SFTP 文件夹中的数据引入 Azure SQL 数据库（Azure 数据工厂）答案

【问题标题】：Ingest Data From On-Premise SFTP Folder To Azure SQL Database (Azure Data Factory)将本地 SFTP 文件夹中的数据引入 Azure SQL 数据库（Azure 数据工厂）
【发布时间】：2021-12-24 22:17:30
【问题描述】：

用例：我定期（每天/每周）将不同大小的数据文件复制到特定的 SFTP 文件夹。所有这些文件都需要验证和处理。然后将它们写入 Azure SQL 中的相关表。文件为 CSV 格式，实际上是一个纯文本文件，直接对应 Azure SQL 中的特定表。

实施：

计划使用 Azure 数据工厂。到目前为止，根据我的阅读，我可以看到我可以拥有一个复制管道，以便将数据从本地 SFTP 复制到 Azure Blob 存储。同样，我们可以使用 SSIS 管道将数据从 On-Premise SQL Server 复制到 Azure SQL。

但我没有看到现有的解决方案来实现我正在寻找的东西。有人可以提供一些关于我如何实现相同目标的见解吗？

【问题讨论】：

标签： azure sftp azure-data-factory azure-sql-server

【解决方案1】：

我会尝试使用带有Data Flow 的数据工厂来验证/处理文件（如果可能的话）。如果验证太复杂/依赖于其他组件，那么我会使用函数并将生成的文件放入 blob。复制活动还能够将生成的 CSV 文件导入 SQL 服务器。

您可以创建执行以下操作的管道：

复制数据 - 将文件从 SFTP 复制到 Blob 存储
通过Data Flow 进行数据处理/验证
并将它们直接接收到 SQL 表（通过数据流接收器）

当然，您需要一个integration runtime，它可以通过使用 VNet 集成或使用自托管 IR 访问本地服务器。（如果不能公开访问）

【讨论】：

欣赏伯纳。让我检查一次
谢谢兄弟..看起来是一个可行的解决方案...