使用自定义目标接收器将日志导出到 BigQuery（表分区）答案

【问题标题】：Exporting Log to BigQuery (table partitioned) using custom destination sink使用自定义目标接收器将日志导出到 BigQuery（表分区）
【发布时间】：2020-07-05 05:48:15
【问题描述】：

大家好。

我想创建一个“接收器”（日志记录服务）来将日志导出到 BigQuery（分区表）。但是，我一直没能做到，默认情况下它正在创建一个碎片表。

我正在使用“自定义目的地”，我在“接收器目的地”选项中使用的代码是：

bigquery.googleapis.com/projects/miproyecto/datasets/dataset_organization.

PD：我正在使用“自定义目标”选项，因为接收器和 bigQuery 表位于不同的项目中。

【问题讨论】：

您能否分享错误消息或您创建接收器时遵循的任何文档？您是否为服务帐户分配了写入接收器导出目标的权限？这是谷歌官方document 供您考虑。

标签： logging google-bigquery stackdriver

【解决方案1】：

目前没有选项可以在 google 控制台和稳定的 gcloud logging sinks create 命令中使用分区表创建 log-BQ sink。我们必须使用 gcloud 命令的 alpha 版本。

gcloud alpha logging sinks create <Sink_Name bigquery.googleapis.com/projects/<BQ Project>/datasets/<dataset> --log-filter='<FILTER CONDITION>' --use-partitioned-tables --project <LOG PROJECT>

基本上 --use-partitioned-tables 提供在 alpha 版本中的伎俩。请参考以下官方谷歌文档链接。

链接：https://cloud.google.com/sdk/gcloud/reference/alpha/logging/sinks/create

我测试了它，它对我来说工作正常。希望答案有用！

问候马尼什

【讨论】：