加载作业尝试使用 java 将 json 插入 BigQuery 表时解析错误答案

【问题标题】：Error in parsing while load job tries to insert json to BigQuery table using java加载作业尝试使用 java 将 json 插入 BigQuery 表时解析错误
【发布时间】：2015-11-04 09:07:36
【问题描述】：

我正在尝试这个，

    Job job = new Job();
    JobConfiguration config = new JobConfiguration();
    JobConfigurationLoad loadConfig = new JobConfigurationLoad();
    config.setLoad(loadConfig);
    job.setConfiguration(config);

    // Set where you are importing from (i.e. the Google Cloud Storage paths).
    List<String> sources = new ArrayList<String>();
    sources.add(GCS_URL);
    loadConfig.setSourceUris(sources);

    boolean tableExists =checkTableExists(bigquery,projectId,datasetId,tableName);
    System.out.println("Whether table exists "+tableExists);

    TableReference tableRef = new TableReference();
    tableRef.setProjectId(projectId);
    tableRef.setDatasetId(datasetId);
    tableRef.setTableId(tableName);

    if(!tableExists)
    {
        System.out.println("Create table");
    Table table = new Table();
    table.setSchema(getSchemaForBqTable(tableName));   
    table.setTableReference(tableRef);
    bigquery.tables().insert(projectId,datasetId,table).execute();
    }


    loadConfig.setDestinationTable(tableRef);
    loadConfig.setSchema(getSchemaForBqTable(tableName));


    Insert insertJob =bigquery.jobs().insert(projectId, job);    
    insertJob.setProjectId(projectId);
    JobReference jobId  = insertJob.execute().getJobReference();


and also polling the status and error results ..
while (true) {
      pollJob = bigquery.jobs().get(projectId, jobId.getJobId()).execute();
      elapsedTime = System.currentTimeMillis() - startTime;
      System.out.format("Job status (%dms) %s: %s\n", elapsedTime,
          jobId.getJobId(), pollJob.getStatus().getState());

      if (pollJob.getStatus().getErrorResult() != null) {
          // The job ended with an error.
           System.out.format("Job %s ended with error %s", jobId.getJobId(),pollJob.getStatus().getErrorResult().getMessage(), projectId);
           throw new RuntimeException(String.format("Job %s ended with error %s", jobId.getJobId(), 
                   pollJob.getStatus().getErrorResult().getMessage()));       
       }     

      if (pollJob.getStatus().getState().equals("DONE")) {
        return pollJob;
      }

我收到以下错误

作业状态 (601ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (1899ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (3235ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (5505ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (7621ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (8904ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (10188ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (11461ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (13615ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (14890ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (16160ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (17444ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (19602ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (20887ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (22168ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: PENDING 作业状态 (24359ms) job_vJWfyum4tsmECoiBrygQ6PZn73c: RUNNING 线程“main”中的异常作业状态（25643ms）job_vJWfyum4tsmECoiBrygQ6PZn73c：完成作业 job_vJWfyum4tsmECoiBrygQ6PZn73c 以错误结束右双引号 (") 和字段分隔符之间的数据：字段开头为：java.lang.RuntimeException：作业 job_vJWfyum4tsmECoiBrygQ6PZn73c 以错误结尾右双引号 (") 和字段分隔符之间的数据：字段开头为：在 com.disney.facebook.LoadJob.checkQueryResults(LoadJob.java:181) 在 com.disney.facebook.LoadJob.main(LoadJob.java:72)

--------------------------------------------------------------------------------------------------------------------------------------------------------

使用 bq 命令检查作业状态...在异常下方...

C:\Program Files (x86)\Google\Cloud SDK>bq show -j job_inR4kMvXQCcpcTujY7nEC-LZs BQ Job brilliobigquery-991:job_inR4kMvXQCcpcTujY7nEC-LZsBQ

作业类型状态开始时间持续时间字节已处理字节账单 ed 计费层

加载失败 04 Nov 12:18:32 0:00:01

作业执行期间遇到的错误。右双引号 (") 和之间的数据字段分隔符：字段以：故障详情： - 文件：0 / 行：1 / 字段：2：右双引号 (") 和字段分隔符：字段以： - 文件：0 / 行：1 / 字段：3：右双引号 (") 和字段分隔符：字段以： - 文件：0 / 行：1 / 字段：4：右双引号 (") 和字段分隔符：字段以： - 文件：0 / 行：1 / 字段：5：右双引号 (") 和字段分隔符：字段开头：

要上传的文件会有这样的内容。

{“channel_skey”：“124”，“the_date”：“1444953600”，“total_subscribers”：“782904”，“total_subscribing”：“21”，“rec_insert_ts”：“1444953600”，“rec_update_ts”：“1444953600 "} {“channel_skey”：“125”，“the_date”：“1444953600”，“total_subscribers”：“50359”，“total_subscribing”：“0”，“rec_insert_ts”：“1444953600”，“rec_update_ts”：“1444953600”}

请帮我解决这个问题。

【问题讨论】：

哪里有将 JSON 或 CSV 设置为输入的代码？

标签： java google-bigquery