从 PCollections 获取列表

Question

我想要一个来自 Pcollection 的列表值。

PCollection<List<Integer>> lst =    bqT2.apply(ParDo.of(new 
UserId()));  // line 1
List myList = lst.getAll(); // line 2 

但是没有“getAll()”函数

我发现了类似的东西

    List<String> dummylist = Arrays.asList(dummy);
    DoFnTester<String,String> fnTester = DoFnTester.of(new AAA(mapview));
    fnTester.setSideInputInGlobalWindow(mapview, csvlist);
    //dummylines.apply(ParDo.of(fnTester));
    List<String> results = fnTester.processBatch(dummylist);

但我没有找到任何使用“DoFnTester”函数获取列表项的方法。

有没有办法从 PCollection 中列出？

为了详细说明，我有两个 PCollection。

PCollection   p1 = pipeline.apply("",
BigQueryIO.read().fromQuery("SELECT * from myTable where userid in " +  lst + ));

注意：lst 来自第 1 行

不确定谷歌数据流是否不支持简单的用例。

Answer 1

如果列表适合内存，apache_beam.transforms.combiners.ToList 可以为您工作。

beam.combiners.ToList() 是 Python 版本。

Answer 2

由于数据流管道的分布式特性，无法直接从 PCollection 访问数据。

不要转换为列表，而是执行“组合”转换，将多个整数的 PCollection 转换为包含 SQL 查询中所需的单个列表元素的 PCollection，并使用之前的 PCollection 与 BigQuery 读取查询链接到另一个转换（整数列表）。