无法创建 Cloud Dataproc 自定义映像答案

【问题标题】：Not able to Create a Cloud Dataproc Custom Image无法创建 Cloud Dataproc 自定义映像
【发布时间】：2019-01-25 04:03:11
【问题描述】：

您好，我是 GoogleDataProc 的新手，正在尝试为 dataproc 创建自定义图像。我已按照文档中提到的所有步骤进行操作，但在运行它时，我发现 SuccessMatch 发现“BuildSucceeded：Dataproc Initialization Actions Succeeded”。之后我收到以下错误：

来自安装了 gcloud sdk 的本地计算机的命令：

python generate_custom_image.py --image-name xyz --dataproc-version 1.2.45 --customization-script customize_script.sh --daisy-path ~/daisy --zone abc-center-b --gcs-bucket gs://xyz_bucket

并得到错误：

错误运行工作流：步骤“create-image”运行错误：googleapi：错误 400：字段“resource.family”的值无效：“无”。必须是正则表达式 '(?:[a-z] (?:[-a-z0-9]{0,61}[a-z0-9])?)' 的匹配，无效

请帮我找出原因。

【问题讨论】：

您为创建自定义图像而运行的确切命令是什么？你使用generate_custom_image.py 脚本吗？
是的，我正在使用 python generate_custom_image.py 并传递文档中完全提到的所有必需参数。
您能分享一下您是如何调用 generate_custom_image.py 的（清除敏感位）吗？
是添加的命令供您参考并从我的本地计算机调用。

标签： google-cloud-platform google-cloud-dataproc

【解决方案1】：

看起来这是recent change的原因。

只需将--family dataproc 添加到您的调用中即可。

我创建了一个pull request 来解决这个问题。

【讨论】：

是的，它有助于创建图像，谢谢。但现在它在进行冒烟测试时出现另一个问题，错误为：“此请求超出 CPU 配额。要尝试的一些事情：请求更少的工作人员（至少需要 2 个），使用较小的主机和/或工作机器类型（例如 n1 -标准-2）“。我试过提供 n1-standard-1 的机器类型，然后也得到了同样的错误。有没有办法在同一命令中提供工人和主人？文档没有显示。但是感谢您的帮助。
该错误来自验证工作流中使用的集群。它需要 12 个 vCPU 才能运行。你可以试试你有更多配额的区域/区域吗？
感谢您的建议，但对于冒烟测试，最好有参数来使用 n1 机器启动单节点或多节点集群。但是感谢您的帮助。