BigQuery 根据开始索引和最后索引选择数据

Question

我正在使用以下代码从 BigQuery 获取数据。

public class BQTEST {
    public static void main(String... args) throws Exception {
        String datasetName = "mydataset";
        String tableName = "mytable";
        String projectId = "gcs";
        String query =
                "SELECT id, " +
                        "qtr, " +
                        "sales, " +
                        "year " +
                        "FROM `gcs.mydataset.mytable` " +
                        ;
        BigQuery bigquery = BigQueryOptions.newBuilder().setProjectId(projectId)
                .setCredentials(
                        ServiceAccountCredentials.fromStream(new
                                FileInputStream("20a3c78f8388.json"))
                )
                .build().getService();
        TableId tableId = TableId.of(projectId, datasetName, tableName);
        QueryJobConfiguration queryConfig = QueryJobConfiguration
                .newBuilder(query)
                .build();
        try {
            bigquery.query(queryConfig);

        } catch (InterruptedException e) {
            e.printStackTrace();
            throw new RuntimeException(e.getMessage());
        }
        TableResult results = bigquery.listTableData(
                tableId,
                BigQuery.TableDataListOption.pageSize(1),
                BigQuery.TableDataListOption.startIndex(5)
        );

        for (FieldValueList row : results.iterateAll()) {
            System.out.printf(
                    "ID: %s qtr: %s sales: %s year: %s\n", row.get(0).getValue(), row.get(1).getValue(), row.get(2).getValue(), row.get(3).getValue());
        }


    }
}

BigQuery.TableDataListOption.startIndex(5) -- 这将有助于从第 5 个索引读取数据，索引从 0 开始。

但我想分块读取数据，例如一个进程中的前 10 条记录，然后是另一个进程中的下 20 条记录，等等。

尝试在并行进程中从一个非常大的表中读取数据。这是一个截断/加载表。所以没有分区和日期范围来读取数据。

我找不到在任何 BigQuery 方法中赋予 LAST_INDEX 值的方法。

有人可以帮忙吗？

Answer 1

没有LAST_INDEX 方法可以用于分页，因为您可以检查documentation。

关于您的要求：

我想以块的形式读取数据，例如一个进程中的前 10 条记录，然后是另一个进程中的下 20 条记录，等等，

使用python，您可以使用max_results 和start_index 等一些参数来执行它，但在java 中，唯一的方法是对您的查询进行分页，并为每个进程更改它。因此，对于每个并行进程，您将有不同的查询。

因此，每个进程都必须：

1. 按某个字段（或所有字段）排序，以保证每个查询都以相同的顺序返回数据
2. 使用limit 和offset 进行分页：

即：

String query = "SELECT id, qtr, sales, year FROM `gcs.mydataset.mytable` " +
               "ORDER BY id, qtr, sales, year " +
               "LIMIT 10 " +
               "OFFSET " + String.valueOf(process_number * 10)
;

进程 0 将有 0-9 行（限制 10 偏移 0）；
进程 1 将有第 10-19 行（限制 10 偏移 10）