使用本机将数据插入 BigQuery 使用 Java 插入查询

Question

我使用 JAVA 使用 InsertAll 方法将行插入 BigQuery。它总是工作正常。但是当我们尝试从 JAVA 代码更新同一行时，出现以下错误，

com.google.cloud.bigquery.BigQueryException 对表 project123:mydataset.test 的 UPDATE 或 DELETE DML 语句会影响流缓冲区中的行，这是不受支持的

所以我尝试了 BigQueryConsole。

我使用 INSERT 查询插入一行，然后立即UPDATE 同一行。效果很好。

当我阅读 BIGQUERY 的文章时，他们提到了来自 JAVA 的 InsertAll 和使用 Streaming Buffer 的控制台的 INSERT 查询。在这种情况下，控制台查询执行应该会失败。

为什么控制台查询工作正常？但是从 Java InsertAll 开始，它向我抛出了一个异常。

如果有人帮助我了解确切的细节，那将非常有帮助。

如果有任何建议使用从 Java 而不是 InsertAll 到 BigQuery 的 Native insert 查询插入，这将是一个很大的帮助。

请找代码sn-p

首先使用以下代码 sn-p 将值插入 BigQuery

Map<String, Object> map = new HashMap<>();
map.put("1", "name");
map.put("2", "age");

BigQuery bQuery = BigQueryOptions.newBuilder().setCredentials(credentials).setProjectId(id)
            .build().getService();
InsertAllResponse response = bQuery .insertAll(InsertAllRequest.newBuilder(tableId).addRow(map).build());

一旦它被插入，我会尝试使用以下代码 sn-p 更新该表中的行

String updateQuery = String.format( "UPDATE `%s` SET name = \"%s\" WHERE age = \"%s\")", name, age);
QueryJobConfiguration queryConfig = QueryJobConfiguration.newBuilder(query).build();
bQuery.query(queryConfig);

插入工作正常。当我尝试更新相同的插入行时，出现流缓冲区错误。

提前致谢。

Answer 1

当您阅读 the documentation 时，很明显 insertAll 会执行流写入 BigQuery。

当您使用 INSERT DML (INSERT INTO <table> [VALUES....|SELECT...]) 时，您执行的是查询，而不是流写入。所以，数据管理是不一样的。性能也不同（Stream write 每秒最多可写入 100 万行，DML 是逐个查询，用更少的数据花费更多的时间）。

所以，我不知道您的代码以及您想要实现的目标。但如果你想使用普通查询（INSERT、UPDATE、DELETE），请使用查询 API。

编辑

我试图调整你的代码（但这是错误的，我做了一些假设），我可以向你提出这个建议。只需执行 QUERY，而不是 Load Job 或 Streaming 写入。

        String tableName = "YOUR_TABLE_NAME";
        
        String insertQuery = String.format("INSERT INTO %s(name, age) VALUES (1,2)", tableName);
        QueryRequest queryRequest = QueryRequest.builder(insertQuery).build();
        bQuery.query(queryRequest);


        String updateQuery = String.format( "UPDATE `%s` SET name = \"%s\" WHERE age = \"%s\")", tableName, name, age);
        queryRequest = QueryRequest.builder(updateQuery).build();
        bQuery.query(queryRequest);