Google BigQuery：将 ExecuteQuery 结果以 json 格式上传到 Google Cloud Storage

Question

我正在导入包含重复记录的 bigquery 表，我需要将这些记录上传到谷歌云存储，如何将结果转换为 json 格式以便将其存储在谷歌云中？

下面是我的代码：

  BigQueryClient Client = BigQueryClient.Create("test", _googleCredential)

   string query = @"select * from `projecttest.TestDataset.CostData`";

 result = Client.ExecuteQuery(query, parameters: null, queryOptions: new QueryOptions { UseLegacySql = false });

Answer 1

我看到你对整个表执行此操作 - 你应该使用 JSON 格式的导出作业

Answer 2

您可以使用 Exporting Table Data BigQuery 功能以多种格式将您的表数据从 BigQuery 导出到 GCS，例如 JSON, CSV and Avro 导出格式.

我建议您查看 Exporting data stored in BigQuery 官方文档，其中包含一些有用的示例，以通过 API、Web UI、命令行和客户端库提交提取作业，以防您使用一种特定的编程语言，如以下 C# 代码示例所示：

public void ExportJsonToGcs(
    string datasetId, string tableId, string bucketName, string fileName,
    BigQueryClient client)
{
    StorageClient gcsClient = StorageClient.Create();
    string contentType = "application/json";
    // Get Table and append results into StringBuilder.
    PagedEnumerable<TableDataList, BigQueryRow> result = client.ListRows(datasetId, tableId);
    StringBuilder sb = new StringBuilder();
    foreach (var row in result)
    {
        sb.Append($"{{\"title\" : \"{row["title"]}\", \"unique_words\":\"{row["unique_words"]}\"}}{Environment.NewLine}");
    }
    // Save stream to Google Cloud Storage.
    using (var stream = new MemoryStream(Encoding.UTF8.GetBytes(sb.ToString())))
    {
        var obj = gcsClient.UploadObject(bucketName, fileName, contentType, stream);
    }
}