使用 BeamSQL 构建嵌套结构

Question

在 BigQuery 中，我们有“ARRAY_AGG”函数，它有助于将普通集合转换为嵌套集合。是否有类似的方法可以使用 BeamSQL 构建相同类型的嵌套结构集合？类似于 BeamSQL 中的以下查询，

"Select column1, ARRAY_AGG(STRUCT(column2, column3)) from PCOLLECTION Group by Column1"

Answer 1

如果我正确理解了您的问题，您应该可以使用 ARRAY 构造函数，例如 "SELECT ARRAY[1, 2, 3] f_arr"、this passes：

  @Test
  public void testArrayConstructor() {
    BeamSqlEnv sqlEnv = BeamSqlEnv.inMemory(readOnlyTableProvider);
    PCollection<Row> stream =
        BeamSqlRelUtils.toPCollection(pipeline, sqlEnv.parseQuery("SELECT ARRAY[1, 2, 3] f_arr"));
    PAssert.that(stream)
        .containsInAnyOrder(
            Row.withSchema(Schema.builder().addArrayField("f_arr", FieldType.INT32).build())
                .addValue(Arrays.asList(1, 2, 3))
                .build());
    pipeline.run().waitUntilFinish(Duration.standardMinutes(2));
  }

另见：

• Calcite SQL reference guide（是Beam SQL使用的解析器）；
• Beam complex types test;
• Beam nested rows test