谷歌数据融合 CPU答案

【问题标题】：Google DATA FUSION CPU谷歌数据融合 CPU
【发布时间】：2021-12-18 18:17:30
【问题描述】：

我在尝试部署下游管道时遇到问题，我收到的日志错误如下：

PROVISION task failed in REQUESTING_CREATE state for program run program_run:default.ListaNomi1_v3.-SNAPSHOT.workflow.DataPipelineWorkflow.182bbf2c-576b-11ec-8095-da8d4f8ab0b3 due to Dataproc operation failure: INVALID_ARGUMENT: Multiple validation errors: - Insufficient 'CPUS' quota. Requested 10.0, available 3.0. - Insufficient 'CPUS_ALL_REGIONS' quota. Requested 10.0, available 7.0. - Insufficient 'IN_USE_ADDRESSES' quota. Requested 3.0, available 1.0. - This request exceeds CPU quota. Some things to try: request fewer workers (a minimum of 2 is required), use smaller master and/or worker machine types (such as n1-standard-2)..

我正在尝试更改工作节点和主节点配置，但总是失败，我不能修改配额，因为我不是领导，他说不能改变。

【问题讨论】：

标签： google-cloud-data-fusion

【解决方案1】：

要使用 Cloud Data Fusion 处理数据，您需要一个集群。两个选项是：

为每个管道运行创建的临时集群。这是您尝试使用的，但它需要计算配额才能创建集群
静态集群（现有 Dataproc）。在这种情况下，集群是预先创建的，您只需通过创建和选择配置文件来“指向”您的管道以使用它。这可以作为防止管道启动期间出现配额问题的选项。但这样的静态集群在运行时会产生成本，即使没有任何作业。

【讨论】：