如何创建从云存储上的 JSON 文件到数据存储的数据流管道

Question

我是 GCP 新手，需要以下方面的帮助： 我有一个 .json 文件上传到云存储，需要将数据移动到云数据存储中进行解析/查询。

我认为本地导入大型数据集可能需要很长时间，因此使用数据流进行转换和加载很有趣。 任何想法或帮助将不胜感激。

Answer 1

这是一个相当简单的问题。您需要：

1. 在此处查看编写数据流管道的基础知识： https://beam.apache.org/documentation/pipelines/design-your-pipeline/

2. 从 GCS 读取： https://beam.apache.org/documentation/sdks/javadoc/0.2.0-incubating/org/apache/beam/sdk/io/TextIO.html

3. 将 JSON 转换为实体： https://cloud.google.com/dataflow/java-sdk/JavaDoc/com/google/cloud/dataflow/sdk/coders/TableRowJsonCoder （或类似的）

4. 写入数据存储 https://github.com/apache/beam/tree/master/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/datastore

希望这会有所帮助！