如果您无法通过 SSH 连接到主节点，则在 dataproc 集群上运行 HDFS 命令

【问题标题】：Running HDFS commands on a dataproc cluster if you can't SSH onto the master node如果您无法通过 SSH 连接到主节点，则在 dataproc 集群上运行 HDFS 命令
【发布时间】：2018-11-08 21:52:01
【问题描述】：

如果您无法通过 SSH 连接到主节点，是否可以在 Dataproc 集群上提交 HDFS 命令。我在 Gcloud SDK 或其他 API 中找不到任何东西。

比如：

gcloud dataproc jobs submit hdfs 'ls /hdfs/path/' --cluster=my-cluster --region=europe-west1

【问题讨论】：

标签： hdfs google-cloud-dataproc

【解决方案1】：

最简单的方法是通过gcloud dataproc jobs submit pig --execute 'fs -ls /' 使用pig fs，或者将pig sh 作为其他shell 命令的集合。

【讨论】：

只是偶然发现了这个（不记得我来自哪里）。非常酷，谢谢丹尼斯。