从多个 pubusb 读取数据到同一个 bigquery

Question

这个问题与理解在 apache beam 中连接 gcp 管道的语法有关。这是我当前管道的设置方式

options = dataflow_options(project_id=project_id, topic_name=topic_name, job_name=job_name)

p = apache_beam.Pipeline(options=options)

(p
    | 'read pubusb' >> apache_beam.io.ReadFromPubSub(topic=topic_path, with_attributes=True)
    | 'decode the message' >> apache_beam.ParDo(mydecoder())
    | 'persist to db' >> apache_beam.io.WriteToBigQuery(
            output_table,
            create_disposition=apache_beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
            write_disposition=apache_beam.io.BigQueryDisposition.WRITE_APPEND
))

p.run()

有了这个，我可以创建一个看起来像这样的管道。

现在我真正想做的（假设我的解码器是相同的）是将多个 pubsub 连接到同一个解码器，即

我如何在 Apache Beam 中实现这一点

我忘了说几件事

1. 所有主题基本上都是字节流。
2. 从主题中读取数据时，数据之间没有公用键
3. 每个主题都有不同的解码逻辑

我正在查看CoGroupby，但它需要一个公用密钥。

Answer 1

使用flatten 将多个PCollection 合并为一个：

# Flatten takes a tuple of PCollection objects.
# Returns a single PCollection that contains all of the elements in the PCollection objects in that tuple.

 merged = (
     (pcoll1, pcoll2, pcoll3)
     # A list of tuples can be "piped" directly into a Flatten transform.
     | beam.Flatten())