【问题标题】:How to read from Google Cloud Storage CSV and Load it to Google Data Store如何从 Google Cloud Storage CSV 读取并将其加载到 Google Data Store
【发布时间】:2020-04-19 07:54:57
【问题描述】:

请告诉我如何从 Google Storage (CSV) 文件读取到 Cloud Data Store。

我已经通过 App Engine 完成了 Java 代码,并且能够在调用时加载一行。同样,我想获得一些示例代码以一次性将批量(从 CSV 读取)加载到数据存储中。

【问题讨论】:

    标签: csv google-cloud-platform google-cloud-datastore google-cloud-storage gcsfuse


    【解决方案1】:

    请告诉我如何从 Google Storage (CSV) 文件读取到 Cloud Data Store。

    您可以使用两种不同的解决方法从 Google Cloud Storage 读取数据并将其加载到您的 Cloud Datastore 项目中。

    使用 Apache Beam

    正如在类似的post 中提到的,您可以使用 Apache Beam 使用 TextIO 类读取 CSV 文件。

    接下来,您需要应用一个转换来解析 CSV 文件中的每一行并返回一个 Entity 对象。

    在帖子中,您将找到一个如何基于 CSV 文件构造 Entity 对象的示例。

    最后,将实体对象写入 Cloud Datastore。

    使用数据流

    您可以使用数据流。 Google 提供了一组开源 Dataflow 模板,您可以使用这些模板来实现您的目标。

    就模板而言,您可以使用Cloud Storage Text to Datastore.

    Cloud Storage 文本到数据存储模板是一个批处理管道,它从存储在 Cloud Storage 中的文本文件中读取数据,并将 JSON 编码的实体写入数据存储。输入文本文件中的每一行都应采用 https://cloud.google.com/datastore/docs/reference/rest/v1/Entity 中指定的 JSON 格式。

    我强烈建议您使用第一个选项,因为它看起来不错并且已获得批准。

    如果不起作用,您可以随时尝试使用 Dataflow 模板从 Google Cloud Storage 读取到 Cloud Datastore。

    希望对你有帮助。

    【讨论】:

    • 感谢克里斯托珀的帮助。我已经在 Python 中看到了第一个选项,但是如果你能用 Java 提供它会很棒,这将有助于我重新开始。
    • post 中接受的答案是 Java。你也可以看看使用here的方法
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-04-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-03-07
    • 1970-01-01
    • 2018-07-22
    相关资源
    最近更新 更多