使用主题架构的 PubSub 和 BigQuery 订阅答案

【问题标题】：PubSub & BigQuery subscription using topic schema使用主题架构的 PubSub 和 BigQuery 订阅
【发布时间】：2022-08-03 00:47:59
【问题描述】：

借助 2022 年 7 月宣布的新的直接 PubSub 到 BigQuery，我们现在可以创建 BigQuery 订阅，直接从 PubSub 推送数据。

对于时间戳字段，它们如何映射到 BigQuery？我尝试过的事情：

在 PubSub 中启用“使用模式”并使用 created_at: TIMESTAMP 创建一个 BQ 表
文档似乎没有指定timestamp mapping for Protobuf，所以忽略它。
使用 Avro 逻辑字段时，我在创建订阅时遇到的错误类似于 Incompatible schema type for field created_at: expected INT64, got TIMESTAMP.

尝试的 PubSub 主题模式示例：

{
  \"type\": \"record\",
  \"name\": \"Avro\",
  \"fields\": [
    {
      \"name\": \"created_at\",
      \"type\": {
        \"type\": \"<long|int>\",
        \"logicalType\": \"timestamp-<millis|micros>\"
      }
    }
  ]
}

为 Timestamp 字段创建 PubSub 架构的正确方法是什么？

标签： google-bigquery google-cloud-pubsub

【解决方案1】：

目前，BigQuery 订阅不支持逻辑类型。正在更新文档以反映这一事实，并且在我们发言时正在添加支持。预计它会在几周内准备好。目前，TIMESTAMP 逻辑类型将映射到基础类型，在本例中为INT64。

【讨论】：

谢谢！当您提到“预计在几周内准备好”时，您是指支持逻辑类型还是更新文档？