设置 fs.defaultFS 属性时无法创建 Dataproc 集群？

Question

这已经是之前post 中讨论的对象，但是，我不相信答案，因为Google docs 指定可以创建一个设置fs.defaultFS 属性的集群。此外，即使可以以编程方式设置此属性，有时从命令行设置它也更方便。

所以我想知道为什么以下选项在传递给我的集群创建命令时不起作用：--properties core:fs.defaultFS=gs://my-bucket?请注意，我没有包含所有参数，因为我在没有前一个标志的情况下运行了命令，并且它成功创建了集群。但是，当通过这个时，我得到：“失败：无法启动主机：DataNodes 报告数量不足。”

如果有人设法通过设置 fs.defaultFS 来创建一个 dataproc 集群，那该多好？谢谢。

Answer 1

由于对实际 HDFS 的某些依赖性，确实存在已知问题；文档并不是要暗示在集群创建时将 fs.defaultFS 设置为 GCS 路径会起作用，而是简单地提供出现在 core-site.xml 中的属性的方便示例；例如，理论上，将 fs.defaultFS 设置为 不同 预先存在的 HDFS 集群是可行的。为了避免混淆，我已经提交了更改文档中示例的请求。

两种选择：

1. 只需在作业提交时使用每个作业属性覆盖 fs.defaultFS
2. 通过使用初始化操作而不是集群属性显式设置 fs.defaultFS 来解决一些已知问题。

选项 1 更容易理解，因为集群级别的 HDFS 依赖关系不会改变。选项 2 有效，因为大多数不兼容仅发生在初始启动期间，并且初始化操作在相关守护程序已经启动之后运行。要覆盖初始化操作中的设置，您可以使用bdconfig：

bdconfig set_property \
    --name 'fs.defaultFS' \
    --value 'gs://my-bucket' \
    --configuration_file /etc/hadoop/conf/core-site.xml \
    --clobber