Apache Beam 中对 SparkRunner 的 Python 支持

Question

是否支持使用 Apache beam 和 SparkRunner 运行 python 程序？

文档似乎没有：https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner

当我查看 API 参考时 https://beam.apache.org/documentation/sdks/pydoc/0.6.0/apache_beam.runners.html 里面没有提到 SparkRunner。

我相信有人提到并支持 Java，但我想知道是否有 python 支持？

Answer 1

目前不支持在 Apache Spark 上运行使用 Apache Beam 的 Python SDK 构建的管道。然而，这项工作正在进行中，体现在 Apache Beam 可移植性框架中。

敬请期待——这应该会很快推出！

Answer 2

添加了对运行 Apache Beam Python 管道的支持，并且有一些关于如何开始使用的说明here。