【问题标题】:Checkpoint s3p flink on EMREMR 上的检查点 s3p flink
【发布时间】:2021-02-15 21:15:22
【问题描述】:

我在 EMR 的 flink 中通过 s3p 进行检查点有问题。

在创建 EMR 集群时,我在 Presto 中打勾,并按照https://ci.apache.org/projects/flink/flink-docs-stable/ops/plugins.html 的说明添加了 jar 文件。

但是在flink中通过s3p检查点的时候还是报错

原因:org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:找不到方案“s3p”的文件系统实现。该方案由 Flink 通过以下插件直接支持:flink-s3-fs-presto。请确保每个插件都位于插件目录中自己的子文件夹中。有关更多信息,请参阅https://ci.apache.org/projects/flink/flink-docs-stable/ops/plugins.html。如果您想为该方案使用 Hadoop 文件系统,请将该方案添加到配置 fs.allowed-fallback-filesystems。有关支持的文件系统的完整列表,请参阅https://ci.apache.org/projects/flink/flink-docs-stable/ops/filesystems/

你能帮我在 EMR 的 flink 上检查点 s3p 吗? 谢谢。

【问题讨论】:

  • core-site.xml 中,每个文件系统都有类绑定。当您获得UnsupportedFileSystemSchemeException 时,这意味着您缺少s3p 的绑定。您可能想先看那里。

标签: amazon-s3 apache-flink amazon-emr


【解决方案1】:

EMR 中的 Presto 与 Flink 中的 flink-s3-fs-presto 插件无关。您以后可以不勾选它(除了把东西炸毁之外也没有伤害)。

最可能的原因是您忘记在插件文件夹中创建子文件夹。你能给我一个ls 你的 Flink 发行版吗?

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2018-02-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-07-01
    • 2023-01-18
    • 2020-09-16
    相关资源
    最近更新 更多