Flink S3 Hadoop 2.8.0答案

【问题标题】：Flink S3 Hadoop 2.8.0Flink S3 Hadoop 2.8.0
【发布时间】：2017-04-25 03:40:33
【问题描述】：

我们试图将 S3 用于 Flink 后端状态和检查点，并在法兰克福使用了一个存储桶（V4 身份验证）它给出了我在此处发布的错误（Cannot access S3 bucket with Hadoop），这是由于 hadoop。然而 hadoop 2.8.0 可以工作，但还没有 Flink 支持。

我的问题是 Flink 什么时候会提供基于 hadoop 2.8.0 的版本？

【问题讨论】：

【解决方案1】：

一旦 Hadoop 版本发布，Flink 可能会提供 Hadoop 2.8.0 版本。

与此同时，您可以使用自定义 Hadoop 版本自己构建 Flink：

mvn clean install -DskipTests -Dhadoop.version=2.8.0

【讨论】：

【解决方案2】：

Hadoop 2.7.x 确实适用于法兰克福和 v4 API 端点。如果您遇到问题，请检查您的 joda-time 版本，因为旧的 joda-time JAR 和 Java 版本的奇怪组合会导致 AWS 获取格式错误的时间戳，然后它会在普遍存在的“bad auth”消息中拒绝该时间戳。

【讨论】：

我使用了 hadoop 2.7.3 并得到了那个错误，只是将 AWS、http* 和 jackson 库从 share/hadoop/hdfs/lib 复制到 share/hadoop/common/lib，因为它正在抱怨没有找到他们。
使用 hadoop 2.8 我做了同样的事情，第一次就成功了。