GCP 上 PySpark 集群的空闲删除配置

Question

我正在尝试定义创建集群函数以在 Cloud Dataproc 上创建集群。在浏览参考资料时，我遇到了一个空闲删除参数 (idleDeleteTtl)，如果在定义的时间内不使用集群，它将自动删除集群。当我尝试将它包含在集群配置中时，它给了我一个 ValueError：Protocol message ClusterConfig has no "lifecycleConfig" field.

创建集群功能供参考：

def create_cluster(dataproc, project, zone, region, cluster_name, pip_packages):
    """Create the cluster."""
    print('Creating cluster...')
    zone_uri = \
        'https://www.googleapis.com/compute/v1/projects/{}/zones/{}'.format(
            project, zone)
    cluster_data = {
        'project_id': project,
        'cluster_name': cluster_name,
        'config': {
            'initialization_actions': [{
                'executable_file': 'gs://<some_path>/python/pip-install.sh'
            }],
            'gce_cluster_config': {
                'zone_uri': zone_uri,
                'metadata': {
                        'PIP_PACKAGES': pip_packages
                    }
            },
            'master_config': {
                'num_instances': 1,
                'machine_type_uri': 'n1-standard-1'
            },
            'worker_config': {
                'num_instances': 2,
                'machine_type_uri': 'n1-standard-1'
            },
              'lifecycleConfig': { #### PROBLEM AREA ####
                'idleDeleteTtl': '30m'
            }
        }
    }

    cluster = dataproc.create_cluster(project, region, cluster_data)
    cluster.add_done_callback(callback)
    global waiting_callback
    waiting_callback = True

如果不在同一个功能本身中，我想要类似的功能。我已经定义了手动删除功能，但我想添加功能以在不使用时自动删除集群。

Answer 1

您正在调用v1 API，并传递一个属于v1beta2 API 的参数。

从以下位置更改您的端点：

https://www.googleapis.com/compute/v1/projects/{}/zones/{}

到这里：

https://www.googleapis.com/compute/v1beta2/projects/{}/zones/{}