从 ValueProvider 读取的 Dataflow BigQuery：“StaticValueProvider”对象没有属性“projectId”

Question

我将 Python SDK 用于 Apache Beam。我试图通过 ValueProvider 从 BigQuery 读取数据（因为 documentation 声明这些是允许的）。

def run(bq_source_table: ValueProvider,
        pipeline_options=None):

    pipeline_options.view_as(SetupOptions).setup_file = "./setup.py"

    with beam.Pipeline(options=pipeline_options) as pipeline:
        (
            pipeline
            | "Read from BigQuery" >> ReadFromBigQuery(table=bq_source_table)
        )

选项声明如下：

class CPipelineOptions(PipelineOptions):

    @classmethod
    def _add_argparse_args(cls, parser):
        parser.add_value_provider_argument(
            "--bq_source_table",
            help="The BigQuery source table name..\n"
                 '"<project>:<dataset>.<table>".'
        )

执行管道会产生以下错误：

AttributeError: 'StaticValueProvider' 对象没有属性 'projectId' [在运行'从 BigQuery/Read/SDFBoundedSourceReader/ParDo(SDFBoundedSourceDoFn)/SplitAndSizeRestriction' 读取时]

关于如何解决此问题的任何建议？我确实不想使用 Flex 模板。

---

编辑：值得一提的是query 参数确实支持ValueProvider。这可能是一个错误吗？

Answer 1

我唯一的建议是使用 Flex 模板。