使用 NiFi 写入启用 MFA 的 AWS S3 存储桶

【问题标题】：Use NiFi to write into AWS S3 Bucket with MFA enabled使用 NiFi 写入启用 MFA 的 AWS S3 存储桶
【发布时间】：2018-11-28 12:54:46
【问题描述】：

是否可以在 MFA 处于活动状态时使用 NiFi 处理器 PutS3Object 将数据写入 S3 Bucket？

如果不是，考虑将数据从 hive/HDFS 写入 S3，还有什么替代方案？

【问题讨论】：

【解决方案1】：

从 1.8.0 版开始，我认为 Apache NiFi *S3Object 处理器（或 AWSCredentialsProviderControllerService）不支持此功能。我建议在Jira site 上打开功能请求票。您可以使用以下选项之一立即完成此操作：

使用ExecuteStreamCommand 或ExecuteProcess 调用终端命令或使用AWS S3 CLI 的shell 脚本
使用 ExecuteScript 运行直接使用 AWS S3 开发工具包 (example code) 的自定义 Python (/Ruby/Groovy/etc.) 脚本
编写一个直接使用AWS S3 SDK 的自定义处理器

【讨论】：