NiFi PutS3Object 错误 - 连接超时

【问题标题】：NiFi PutS3Object Error - Connection TimeOutNiFi PutS3Object 错误 - 连接超时
【发布时间】：2021-01-04 20:40:03
【问题描述】：

我正在尝试使用 NiFi 将文件添加到 S3 存储桶。我已经为身份验证配置了 IAM 角色。收到错误 PutS3Object Failed to put StandardFlowFileRecord to Amazon S3 due to Unable to execute HTTP request: Connect to sts.amazonaws.com:443 failed: connect timed out com.amazonaws.SdkClientException。 我的 NiFi 实例安装在 ec2 实例上，我可以使用 aws cli 从该 ec2 实例将文件传输到 S3 存储桶。

【问题讨论】：

  • 这很常见，您必须为所有因超时而失败的流创建重试循环。所有流程都发生这种情况吗？
  • 是的，所有流程都在发生这种情况。我能够将文件从安装 NiFi 的 ec2 实例传输到 S3 存储桶。此错误仅发生在 NiFi 处理器中。我们是否必须在 Nifi 应用程序级别进行一些配置才能连接到 Amazon S3？

标签： amazon-s3 amazon-ec2 apache-nifi


【解决方案1】：

这是您的 STS 服务的问题，“客户端” - nifi 处理器模块通过公共互联网使用和端点，除非您已设置 VPC Endpoint for STS

【讨论】：

  • 作为故障排除的一部分，我们创建了一个 IAM 用户并在 NiFi PutS3Object 处理器中配置了访问密钥和秘密密钥。然后我们能够成功地将文件传输到 S3 Bucket。问题仅在使用 IAM 角色时出现。我们是否必须向特定于 NiFi 应用程序的 IAM 角色添加任何配置？
【解决方案2】：

@Tris

假设您已在防火墙、访问和 SSL 上下文服务中允许并配置了所有内容，则应该能够通过增加处理器中的超时值来解决超时问题。有时默认设置是不够的。

【讨论】：

    猜你喜欢
    • 1970-01-01
    • 2018-07-24
    • 1970-01-01
    • 1970-01-01
    • 2013-05-29
    • 2013-03-30
    • 2017-07-12
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode