[Apache Flink]：flink-s3-fs-hadoop 插件在哪里？答案

【问题标题】：[Apache Flink]: Where is flink-s3-fs-hadoop plugin?[Apache Flink]：flink-s3-fs-hadoop 插件在哪里？
【发布时间】：2020-12-09 22:14:55
【问题描述】：

我想用来自 S3 的 Apache Flink 1.11.2读取和写入一些数据。文档建议对检查点使用 presto 插件，对管道数据使用 hadoop 插件。

阅读this section 后，您必须将插件从/opt 复制到/plugin。我可以在 /opt 下找到 flink-s3-fs-presto-1.11.2.jar，但没有 flink-s3-fs-hadoop-1.11.2.jar。在哪里可以找到用于设置生产环境的 s3-hadoop 插件？

我如何在 IDE 中使用这些插件？只需将这些添加到 pom.xml 还提供依赖项？那么如何在 IDE 中传递凭证？

【问题讨论】：

标签： apache-flink

【解决方案1】：

这很奇怪，我可以看到它们都存在于 1.11.1 中 opt 的官方二进制文件中。但是，如果您找不到它们，您可以简单地尝试从 Maven here 获取 jar 并将它们复制到所需的位置。另一件可能有用的事情是将依赖项添加到具有compile 范围的项目中。

描述了在本地运行作业here。在 IDE 中运行作业时有多种配置凭据的方法，一种可能是将 core-site.xml 添加到具有正确配置的资源文件夹中。

编辑：至于本地执行，稍微解释一下here。

【讨论】：

是的，在 1.11.1 版本中，插件位于 /opt 文件夹中。您发布的链接没有帮助，因为我不想从 hadoop 读/写。我只想在从 S3 读取的 IDE 中测试我的 flink 作业。
添加了关于本地执行的编辑
好的，谢谢。所以我可以通过FLINK_CONF_DIR env 变量在我的 IntelliJ 中引用 /conf/flink-conf.yml？
您的 flik 读或写 s3 工作正常吗？我遇到了问题，所以想检查一下。