谷歌云数据流 Python --maxNumWorkers

Question

我正在尝试增加使用 Apache Beam 的 python SDK 构建的数据流管道的工作人员数量，我发现建议设置 --maxNumWorkers= 标志的文档足以将工作人员的最大数量增加到默认值 15 以上. 但是，当我将此标志添加到管道选项时，它似乎不起作用。我回顾了记录在here 中的执行参数选项，并注意到maxNumWorkers 没有在Python“指定其他云管道选项”中列出，而它确实出现在Java SDK 中——这是Python 的已知限制吗？包裹？我没有考虑在 python 管道选项中设置 maxNumWorkers 的任何其他选项吗？

注意：我已经确认这不是配额问题，因为我可以指定 --num_workers=100，但这（我相信）不会使用自动缩放算法，因为它会立即将工作人员的数量设置为 100。

Answer 1

看起来在 Python 中的选项是 --max_num_workers。