只是想知道我们是否有更多的管道 I/O 和运行时参数可用于新版本 (3.X) 的 python。如果我是正确的，那么当前 apache beam 在使用 python 时仅提供基于文件的 IO：textio、avroio、tfrecordio。但是对于 Java，我们有更多可用的选项，例如基于文件的 IO、BigQueryIO、BigtableIO、PubSubIO 和 SpannerIO。
在我的要求中，我想使用 python 3.X 在 GCP 数据流管道中使用 BigQueryIO，但目前它不可用。有没有人对 ETA 有一些更新，什么时候可以通过 apache Beam 获得。
【问题讨论】：
标签： python google-cloud-platform google-cloud-dataflow apache-beam apache-beam-io
Python 3 的 BigTable 连接器已经开发了一段时间。目前，没有 ETA，但您可以关注官方 Apache Beam 存储库中的相关Pull-Request 以获取进一步更新。
【讨论】：
BigQueryIO 已在 Apache Beam Python SDK 中提供了相当长一段时间。
还有Pub/Sub IO available 和BigTable (write)。 SpannerIO 在我们发言时正在处理中。
此页面有更多详细信息https://beam.apache.org/documentation/io/built-in/
更新：
根据 OP 提供的更多详细信息，事实证明确实不支持在 BigQuery 查询字符串中使用值提供程序。
这已在以下 PR 中得到纠正：https://github.com/apache/beam/pull/11040，并且很可能会成为 2.21.0 版本的一部分。
更新 2： 此新功能已添加到 Apache Beam 2.20.0 版本中 https://beam.apache.org/blog/2020/04/15/beam-2.20.0.html
希望它能解决你的问题！
【讨论】：