【发布时间】：2019-07-11 03:31:18
【问题描述】：
我正在设置一个新的 dataproc 服务器并使用 initilization-action 来运行自定义脚本。该脚本在 2 个数据节点上运行良好，但在主节点上没有执行。
尝试在 /var/log/dataprog-initilization-*.log 下查找日志，但无法在主节点中找到该文件。
以前有没有其他人遇到过这个问题？ 提前致谢！！
gcloud 命令：
gcloud dataproc clusters create test-cluster \
--region=us-central1 --zone=us-central1-a \
--master-machine-type=n1-standard-4 --master-boot-disk-size=200 \
--initialization-actions=gs://dp_init_data/init2.sh --initialization-action-timeout="2m" \
--num-workers=2 --worker-machine-type=n1-standard-8 --worker-boot-disk-size=200
DataNode 错误日志：
2019-07-11 03:29:22,123 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-268987178-10.32.1.248-1562675355441 (Datanode Uuid 71664f82-1d23-4184-b19b-28f86b01a251) service to exp-gcp-kerberos-m.c.exp-cdh-prod.internal/10.32.1.248:8051 Datanode denied communication with namenode because the host is not in the include-list: DatanodeRegistration(10.32.1.60:9866, datanodeUuid=71664f82-1d23-4184-b19b-28f86b01a251, infoPort=0, infoSecurePort=9865, ipcPort=9867, storageInfo=lv=-57;cid=CID-aee57974-1706-4b8c-9654-97da47ad0464;nsid=128710770;c=1562675355441)
【问题讨论】：
-
这很不寻常。您可以尝试使用 hello world 初始化操作吗？
-
@Christoper - 感谢您的编辑。
-
@Dagang 我运行了一个 hello world 脚本，它工作正常。如果脚本导致错误，该命令是否不允许 init_action 在其他虚拟机上运行？我正在对 hadoop 配置进行一些更改，并且数据节点在 init_action 之后失败，因为它期望在主节点中进行相同的更改。但是，init_action 永远不会在主节点上运行。
-
集群创建失败？似乎在此过程的早期某些事情必须失败，它应该会导致集群创建失败。主服务器上的 /var/log/google-dataproc-agent*.log 中有任何堆栈跟踪吗？
-
根据您的 DataNode 错误日志，您似乎希望 init 操作首先在 master 上运行，然后是 worker。但是初始化操作是并行运行的，你必须添加逻辑以确保它们按顺序运行。
标签： google-cloud-platform google-cloud-dataproc