【发布时间】:2021-02-15 21:15:22
【问题描述】:
我在 EMR 的 flink 中通过 s3p 进行检查点有问题。
在创建 EMR 集群时,我在 Presto 中打勾,并按照https://ci.apache.org/projects/flink/flink-docs-stable/ops/plugins.html 的说明添加了 jar 文件。
但是在flink中通过s3p检查点的时候还是报错
原因:org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:找不到方案“s3p”的文件系统实现。该方案由 Flink 通过以下插件直接支持:flink-s3-fs-presto。请确保每个插件都位于插件目录中自己的子文件夹中。有关更多信息,请参阅https://ci.apache.org/projects/flink/flink-docs-stable/ops/plugins.html。如果您想为该方案使用 Hadoop 文件系统,请将该方案添加到配置 fs.allowed-fallback-filesystems。有关支持的文件系统的完整列表,请参阅https://ci.apache.org/projects/flink/flink-docs-stable/ops/filesystems/。
你能帮我在 EMR 的 flink 上检查点 s3p 吗? 谢谢。
【问题讨论】:
-
在
core-site.xml中,每个文件系统都有类绑定。当您获得UnsupportedFileSystemSchemeException时,这意味着您缺少s3p的绑定。您可能想先看那里。
标签: amazon-s3 apache-flink amazon-emr