将 JSON 上传到 Bigquery 未指定错误

Question

在短暂尝试 (https://github.com/pydata/pandas-gbq) 并意识到 pandas-gbq 不支持 RECORD 类型，即没有嵌套字段后，我才刚刚开始使用 python BigQuery API (https://github.com/GoogleCloudPlatform/google-cloud-python/tree/master/bigquery)。

现在我正在尝试将嵌套数据上传到 BigQuery。我设法使用相应的架构创建了表，但是我正在努力上传 json 数据。

from google.cloud import bigquery
from google.cloud.bigquery import Dataset
from google.cloud.bigquery import LoadJobConfig
from google.cloud.bigquery import SchemaField

SCHEMA = [
    SchemaField('full_name', 'STRING', mode='required'),
    SchemaField('age', 'INTEGER', mode='required'),
    SchemaField('address', 'RECORD', mode='REPEATED', fields=(
        SchemaField('test', 'STRING', mode='NULLABLE'),
        SchemaField('second','STRING', mode='NULLABLE')
    ))
]

table_ref = client.dataset('TestApartments').table('Test2')

table = bigquery.Table(table_ref, schema=SCHEMA)
table = client.create_table(table)

当尝试将一个非常简单的 JSON 上传到 bigquery 时，我得到一个相当模糊的错误

400 读取数据时出错，错误信息：遇到 JSON 表 错误太多，放弃。行数：1；错误：1.请查看 错误流以获取更多详细信息。

除了它放弃我让我有点难过之外，显然错误描述并没有真正帮助...... 请在下面找到我如何尝试上传 JSON 和示例数据。

job_config = bigquery.LoadJobConfig()
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON

with open('testjson.json', 'rb') as source_file:
    job = client.load_table_from_file(
        source_file,
        table_ref,
        location='US',  # Must match the destination dataset location.
        job_config=job_config)  # API request

job.result()  # Waits for table load to complete.

print('Loaded {} rows into {}:{}.'.format(
    job.output_rows, dataset_id, table_id))

这是我的 JSON 对象

"[{'full_name':'test','age':2,'address':[{'test':'hi','second':'hi2'}]}]"

如果我没记错的话，这似乎是上传嵌套数据的唯一方法。

Answer 1

我一直在使用您共享的相同代码和 JSON 内容重现您的场景，我怀疑问题只是您在引号之间定义 JSON 内容（" 或 '），而它应该没有那种格式。

正确的格式是@ElliottBrossard 在他的回答中已经与您分享的格式：

{'full_name':'test', 'age':2, 'address': [{'test':'hi', 'second':'hi2'}]}

如果我使用 testjson.json 文件中的内容运行您的代码，我会收到响应 Loaded 1 rows into MY_DATASET:MY_TABLE 并且内容会加载到表中。否则，如果我使用下面的格式（您根据您的问题和其他答案中的 cmets 使用该格式），我会得到结果 google.api_core.exceptions.BadRequest: 400 Error while reading data, error message: JSON table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the error stream for more details。

"{'full_name':'test','age':2,'address':[{'test':'hi','second':'hi2'}]}"

此外，您可以转到 BigQuery UI 中的“工作”页面（点击链接 https://bigquery.cloud.google.com/jobs/YOUR_PROJECT_ID），您会在其中找到更多信息有关失败的加载作业的信息。例如，当我使用错误的 JSON 格式运行您的代码时，我得到的是：

正如您将看到的，这里的错误消息更相关：

error message: JSON parsing error in row starting at position 0: Value encountered without start of object

它表示它找不到任何有效的 JSON 对象的开头（即对象开头的括号{）。

TL;DR:删除 JSON 对象中的引号，加载作业应该没问题。

Answer 2

我认为你的 JSON 内容应该是：

{'full_name':'test','age':2,'address':[{'test':'hi','second':'hi2'}]}

（无括号。）以使用命令行客户端为例：

$ echo "{'full_name':'test','age':2,'address':[{'test':'hi','second':'hi2'}]}" \
    > example.json
$ bq query --use_legacy_sql=false \
    "CREATE TABLE tmp_elliottb.JsonExample (full_name STRING NOT NULL, age INT64 NOT NULL, address ARRAY<STRUCT<test STRING, second STRING>>);"
$ bq load --source_format=NEWLINE_DELIMITED_JSON \
    tmp_elliottb.JsonExample example.json
$ bq head tmp_elliottb.JsonExample
+-----------+-----+--------------------------------+
| full_name | age |            address             |
+-----------+-----+--------------------------------+
| test      |   2 | [{"test":"hi","second":"hi2"}] |
+-----------+-----+--------------------------------+