【问题标题】:PTransform passing additional PCollection as side inputPTransform 传递额外的 PCollection 作为侧输入
【发布时间】:2021-09-22 19:39:02
【问题描述】:

我正在尝试在我的管道中实现复合 PTransform。我有一个主输入 PCollection 和一个附加 PCollection,我需要将它们传递给我的 PTransform,以便它可以在我的复合变换 ParDo 中用作辅助输入。是否可以通过复合 PTransform 构造函数,还是我需要在这里使用不同的方法?

【问题讨论】:

    标签: apache-beam


    【解决方案1】:

    您可以通过构造函数传递 PCollectionView。例如:Access elements of PCollectionView<List<Foo>> : Google Cloud Dataflow/Apache Beam

    【讨论】:

    • 能否通过PTransform构造函数传递一个PCollectionView(类似于ParDo函数)?
    • 我相信你可以。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-05-30
    • 2020-01-03
    相关资源
    最近更新 更多