【问题标题】:What should be the schema for the JSON in Big Query?Big Query 中 JSON 的架构应该是什么?
【发布时间】:2016-04-08 20:57:26
【问题描述】:

我有以下 JSON,我必须将其导入 Big Query。我应该为下面的 JSON 指定什么模式?表的字段名称应该是什么?我正在使用 BigQuery WebUI。

     {
      "users": {
        "userid1mohan": {
          "password": "123456",
          "username": "mohan"
        },
        "userid2kutubuddin": {
          "password": "234567",
          "username": "kutubuddin"
        },
        "userid3pankaj": {
          "password": "345678",
          "username": "pankaj"
        },
        "userid4vivek": {
          "password": "456789",
          "username": "vivek"
        }
      }
    }

【问题讨论】:

    标签: json schema google-bigquery


    【解决方案1】:

    请注意,BigQuery 将轻松提取 CSV 和换行符分隔的 JSON,但不会像问题中提供的那样提取纯 JSON 文件。

    在此处查找有关换行符分隔 JSON 格式的规范:http://dataprotocols.org/ndjson/

    对于这样的用例,nljson 需要如下所示:

    {"username":"kutubuddin","password":"456789"}
    {"username":"pankaj","password":"312231"}
    {"username":"vivek","password":"123h1"}
    

    因此,您需要将拥有的 json 对象转换为多个 json 对象,每行一个,然后再将其提取到 BigQuery 中。

    【讨论】:

    • 在用户中,我有一些用户 ID,例如 userid1mohan、userid2kutubuddin 等。如何为他们创建架构?
    • 为什么要为他们创建架构?从表格的角度思考,以及事物如何适应列
    • hmims 可能需要嵌套模式。 “用户”可以是记录类型的字段,可以包含“用户名”和“密码”字段。见cloud.google.com/bigquery/preparing-data-for-bigquery#datatypes。请注意,格式是 Felipe 所建议的,但它会是 {"user":{"username":"kutubuddin","password":"456789"}} 全部在一行中。
    • 感谢 Felipe 和 Michael...我同意 Felipe..所以现在我将在表本身中添加这个 employeeid 键
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2011-02-21
    • 1970-01-01
    • 1970-01-01
    • 2012-10-03
    • 1970-01-01
    • 2020-05-01
    • 1970-01-01
    相关资源
    最近更新 更多