PCollection<Entity> 到 PCollection<TableRows>

Question

我正在尝试使用 Dataflow 在 Datastore 中查询我的所有类型，并将它们写入 BigQuery 中的日期分段分区。阅读部分很容易使用DatastoreIO.read() 并给我一个PCollection<Entity>。

BigQuery 需要 PCollection<TableRow>，我可以隐式地从一个转换为另一个吗？我的数据涉及一些不可预测的字段（例如嵌入属性中的包数据），因此我无法显式转换所有字段。

另外，如果与此事相关，我想使用SerializableFunction 为每个数据存储实体动态设置目标表（即 YYYYMMDD_kind）

Answer 1

您必须自己将PCollection<Entity> 转换为PCollection<TableRow>。 BigQueryIO.write() 的 API 需要 TableRow。要转换它们，您需要在 PCollection<Entity> 的顶部应用 ParDo。

附带说明，您还可以不使用 Dataflow 将 Datastore 备份直接加载到 BigQuery。见here。