【问题标题】:Move Files from one directory to another using SSIS Package in Azure Data Lake Store Gen1使用 Azure Data Lake Store Gen1 中的 SSIS 包将文件从一个目录移动到另一个目录
【发布时间】:2019-12-20 18:14:48
【问题描述】:

我正在创建 SSIS 包并计划使用 ADF 来运行它。

我使用 Azure Data Lake Gen1 作为文件存储。

根据我们的流程,一旦文件加载完成,我们会将文件从一个目录移动到另一个目录到 Data Lake。

但无法在 SSIS 中找到任何内容来执行此操作。任何人都对此有任何想法。

非常感谢您的帮助。

【问题讨论】:

  • 你想找到什么? SSIS 包在数据工厂中是如何工作的?
  • 源目录是在数据湖中还是在本地?如果一切都在 datalake 中,我建议你只使用 ADF 来做 - 不要使用 SSIS。如果您必须使用 SSIS,可以使用 SSIS Azure 功能包docs.microsoft.com/en-us/sql/integration-services/control-flow/…
  • @Nick.McDermaid 目前必须使用 SSIS,是的,我正在使用 SSIS Azure Feature Pack 处理来自 Data Lake 的文件,但他们无法在 Data Lake 中移动文件。
  • @LeonYue 我们将使用(配置 SSIS 集成)在 ADF 中部署 SSIS 包
  • 请说清楚:您是否要在数据湖中将文件从一个文件夹移动到另一个文件夹?据我了解,这是一个重命名功能。 API有很多

标签: sql-server azure ssis azure-data-factory azure-data-lake


【解决方案1】:

正如您在评论中所说,您将使用(配置 SSIS 集成)在 ADF 中部署 SSIS 包。

您可以将此文档参考Provision the Azure-SSIS Integration Runtime in Azure Data Factory

本教程提供了使用 Azure 门户在 Azure 数据工厂 (ADF) 中预配 Azure-SQL Server Integration Services (SSIS) 集成运行时 (IR) 的步骤。 Azure-SSIS IR 支持运行部署到由 Azure SQL 数据库服务器/托管实例(项目部署模型)托管的 SSIS 目录 (SSISDB) 和部署到文件系统/文件共享/Azure 文件(包部署模型)中的包。预配 Azure-SSIS IR 后,您可以使用熟悉的工具(例如 SQL Server Data Tools (SSDT)/SQL Server Management Studio (SSMS))和命令行实用程序(例如 dtinstall/dtutil/dtexec)来部署和运行你在 Azure 中的包。

  1. Create an Azure-SSIS integration runtime
  2. Provision an Azure-SSIS integration runtime
  3. Deploy SSIS packages

在你创建并配置好 Azure-SSIS 集成运行时,关于如何在数据工厂中运行你的 SSIS 包,数据工厂也给了我们很多方法:

  1. Execute SSIS packages in Azure from SSDT
  2. Run an SSIS package with the Execute SSIS Package activity in Azure Data Factory
  3. Run an SSIS package with the Stored Procedure activity in Azure Data Factory

只要选择你喜欢的。

希望这会有所帮助。

【讨论】:

    猜你喜欢
    • 2017-07-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-04-16
    • 1970-01-01
    • 2019-09-26
    • 1970-01-01
    • 2021-04-22
    相关资源
    最近更新 更多