Azure 数据工厂 - 动态复制数据

Question

我希望使用 azure 数据工厂来针对一堆 sql 查询运行。我的目标场景是这样的：

1. 预处理器生成许多（100 多个）带有 HANA 查询的 sql 文件以进行提取。这些可以针对 SAP HANA 运行，每个生成的输出都被保存。我有一个可以执行此操作的应用程序，并且可以正常工作。
2. 我希望将其移至 Azure 数据工厂，因为如果从 Azure 运行，它需要通过 Azure 自托管集成运行时。换句话说，如果在云上运行，唯一的选择是 ADF SAP HANA 连接器（它支持复制数据活动）。
3. 理想情况下，我可以将 something 指向一个 sql 文件列表，执行每个文件，然后分别存储结果。如果我能以某种方式连接到笔记本或自定义活动，那就足够了。这可能吗？

实现这一目标的最佳方法是什么？我想我可以以编程方式生成 100 多个复制数据活动，但这似乎很繁重，如果以后需要更多文件，我会更改管道定义。

Answer 1

在这种情况下，我建议使用 sqoop。大约三年前，我确实使用 Apache Sqoop 将 SAP HANA 数据移动到 Azure Blob，它就像薄荷一样工作。