boto3 会导致 EMRFS 元数据不一致吗

Question

在启用了一致视图的 EMR 集群中运行 python 脚本时，我正在使用 boto3 SDK。我正在尝试使用错误消息Exception while invoking ConsistencyCheckerS3FileSystem.mkdirs over null

调试异常

我的问题是 boto3 会导致 EMRFS 元数据不一致吗？从 EMR 执行时，我们是否应该始终使用 hadoop/hdfs 命令而不是 boto3 来复制/删除 s3 文件/文件夹？

Answer 1

是 boto3 会导致不一致。甚至 AWS CLI。

您需要在每次复制/删除操作后手动sync 元数据。

使用 HDFS 命令 emrfs 将同步。