如何使用 Apache Airflow 的 DataprocCreateClusterOperator 在 Dataproc(GCP) 上启用 Spark Web 界面

Question

我们正在使用 Apache Airflow 的 DataprocCreateClusterOperator 在 GCP(Dataproc) 上创建 Spark 集群，并希望启用 Spark Web UI 界面。使用终端创建时，我们在创建集群命令中传递--enable-component-gateway。我们如何使用DataprocCreateClusterOperator 实现这一目标

我们尝试在下面添加endpoint_config（下面的示例代码），但没有成功。

"software_config" : {
.....,

   "endpoint_config" : {
   "enable_http_port_access" : "true"
   }
}

Answer 1

根据 Dataproc REST API（Cluster、ClusterConfig、EndpointConfig），应该是

{
  "clusterName": ...,
  ...
  "config": {
    "endpointConfig": {
      "enableHttpPortAccess" : true
    },
    "softwareConfig": {
      ...
    },
    ...
  }
}