【问题标题】:Bigquery Slot metrics are not showing data in GCPBigquery Slot 指标未在 GCP 中显示数据
【发布时间】:2020-10-08 18:04:47
【问题描述】:

我试图为 Bigquery 创建指标,但在选择使用的或与插槽相关的插槽时,我无法获得如下所示的数据:

请帮助我如何检查此类问题以填充数据并在插槽上创建指标。我也面临与表格指标类似的问题。

【问题讨论】:

  • 你有提交槽吗?
  • 我不知道提交插槽的过程你能帮我怎么做吗?

标签: google-cloud-platform google-bigquery


【解决方案1】:

基本上,BigQuery 是一种无服务器产品,您只需按用量付费(此处为扫描的数据量)。为了处理数据,分配了槽。默认情况下,您有 2000 个插槽分配给您的项目。

这种模式的问题在于成本的不可预测性,这在大公司中是个问题(他们更愿意在事先知道预算的情况下支付更多 -> 愚蠢,但财务部门更喜欢!!)。为此,您可以[保留您的位置](集群项目经理),您可以将它们分配给不同的项目(如果您在组织级别而不是项目级别预留了位置)。

使用 slot,您不再需要为扫描的数据量付费,而只需为您的 slot 付费。 当然,如果您的查询需要 10 秒,有 2000 个插槽,而您只分配 500 个插槽,则查询将需要 40 秒(不是那么线性,而是原理)

您可以根据需要动态更改分配。我的意思是,如果您有一个在晚上进行批处理的项目,您可以在夜间为其分配最大插槽,并在白天为您的仪表板项目重新分配插槽(例如)。

因此,使用此指标,您可以跟踪项目的插槽分配情况。分配的插槽中的其他有趣指标。事实上,您可以为您的项目设置 500 个插槽,但您的查询只需要 100 个插槽。像这样你可以优化你的分配。

【讨论】:

    【解决方案2】:

    您尝试用于在指标资源管理器中创建图表的 Big Query 指标 "slots/assigned" 被标记为 EARLY_ACCESS,您可以在 this Cloud Monitoring 文档中关注。

    您需要被邀请或列入白名单才能使用此 Alpha 指标或等到它正式发布或处于 Beta 阶段。

    抢先体验:抢先体验功能仅限于封闭的一组 有限的发射子集的测试人员。参与方式是 仅限邀请,可能需要签署预通用可用性 协议,包括保密条款。这些功能可能是 不稳定,以向后不兼容的方式更改,并且不保证 即将面世。没有提供 SLA,也没有技术支持 义务。早期访问版本很少见,并且专注于验证 产品原型。

    如果您看不到任何指标,请查看您是否有正确的prerequisites 以在监控中创建这些图表。

    【讨论】:

    • 谢谢,但对于其他插槽指标,我也无法获取它们的数据,例如插槽/已分配,插槽/已分配_for_project。请您帮忙
    • 您好,请参阅第二个答案,这是有价值的信息,而且我可以在您的图形中看到仪表板中数据点的时间范围很短。您可以尝试通过放大和缩小时间戳来调整数据点值,请查看此文档cloud.google.com/bigquery/docs/monitoring-dashboard#metrics 和已知问题以更了解我在说什么。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-06-15
    • 1970-01-01
    • 2020-07-28
    • 2016-12-14
    相关资源
    最近更新 更多