如何在 Apache Beam 管道中记录传入消息

Question

我正在编写一个简单的 apache 光束流管道，从 pubsub 主题获取输入并将其存储到 bigquery 中。几个小时以来，我以为我什至无法阅读消息，因为我只是试图将输入记录到控制台：

events = p | 'Read PubSub' >> ReadFromPubSub(subscription=SUBSCRIPTION)
logging.info(events)

当我将其写入文本时，它工作正常！但是，我对logger 的呼叫从未发生过。

人们如何开发/调试这些流式传输管道？

我尝试添加以下行： events | 'Log' >> logging.info(events)

使用print() 也不会在控制台中产生任何结果。

Answer 1

这是因为events 是PCollection，所以您需要对其应用PTransform。

最简单的方法是将ParDo 应用于events：

events | 'Log results' >> beam.ParDo(LogResults())

定义为：

class LogResults(beam.DoFn):
  """Just log the results"""
  def process(self, element):
    logging.info("Pub/Sub event: %s", element)
    yield element

请注意，如果您想在下游应用进一步的步骤，例如在记录元素后写入接收器，我也会生成元素。例如，请参阅问题 here。