Flink 流作业不会连接到 localstack s3答案

【问题标题】：Flink streaming job won't connect to localstack s3Flink 流作业不会连接到 localstack s3
【发布时间】：2020-08-10 16:00:49
【问题描述】：

我正在使用一个名为 Localstack 的产品在本地模拟 Amazon S3，它用作 Flink 作业的流式文件接收器。

在运行日志中，我可以看到 Flink 忽略了 Localstack 并尝试联系 Amazon S3。

Received error response: org.apache.flink.fs.s3base.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Service Unavailable

Retrying Request: HEAD https://s3.amazonaws.com /testBucket/

在 flink-conf.yaml 中，我指定了以下配置属性：

s3.impl: org.apache.hadoop.fs.s3a.S3AFileSystem
s3.buffer.dir: ./tmp                           
s3.endpoint: localhost:4566
s3.path.style.access: true
s3.access-key: ***
s3.secret-key: ***

为什么 Flink 会忽略 s3.endpoint？

【问题讨论】：

标签： amazon-s3 apache-flink flink-streaming localstack

【解决方案1】：

您的配置几乎正确，使用 localstack 时需要添加 http：

s3.endpoint: http://localhost:4566

也许可以尝试使用额外的虚拟秘密作为环境变量：

AWS_ACCESS_KEY_ID=foo
AWS_SECRET_ACCESS_KEY=bar

【讨论】：