如何使用 NiFi 从/向 ADLS 摄取数据

Question

我想使用 NiFi 连接 ADLS。我的场景是这样的： Nifi 已安装并在 windows 机器上运行。现在我想将数据从我的 windows 本地目录移动到 ADLS。我现在没有使用任何 hadoop 组件。我想再次从 ADLS 将该数据移动到 Azure 中的 SQL 服务器。 如何将运行 Nifi 的 Windows 连接到 ADLS？我发现配置 core-site.xml 文件并将罐子带到 Nifi 特定文件夹的所有指令。但是由于我没有运行 Hadoop（所以我没有 core-site.xml 文件），在这种情况下我如何将 Nifi 连接到 ADLS？

谁能分享一下怎么做？

提前致谢。

Answer 1

您可以尝试使用 ExecuteGroovyScript 处理器和原生 azure lib 来处理 adls。

这是一个java示例：

https://github.com/Azure-Samples/data-lake-store-java-upload-download-get-started/blob/master/src/main/java/com/contoso/sample/UploadDownloadApp.java

但它可以很容易地转换为 groovy 脚本。