mrjob：是否可以在 VPC 中运行作业流程？

【问题标题】：mrjob: Is it possible to run a job flow in a VPC?mrjob：是否可以在 VPC 中运行作业流程？
【发布时间】：2012-09-01 03:29:44
【问题描述】：

我正在使用 mrjob 在 EMR 上运行一些 MapReduce 任务，并且我想在 VPC 中运行作业流。我查看了 mrjob 和 boto 的文档，似乎没有一个支持。

有谁知道这是否可行？

【问题讨论】：

【解决方案1】：

目前 (v 0.3.5) 是不可能的。我在 github 项目上提出了拉取请求，以添加对 boto 的 'api_params' 参数的支持，因此您可以直接将参数传递给 AWS API，并使用 'Instances.Ec2SubnetId' 参数在 VPC 子网中运行作业流程.

【讨论】：

即使有了这个非常有用的参数（非常感谢您），Spot 实例也无法启动并运行。 JobFlow 确实引用了子网，但主节点没有引导。我最终收到了一堆针对同一个 JobFlow 的现场请求。终止 JobFlow 会取消查询。有什么建议吗？