【问题标题】:Adjust streaming rate in dataflow pubsub to bigquery template将数据流 pubsub 中的流式传输速率调整为 bigquery 模板
【发布时间】:2018-11-03 05:19:19
【问题描述】:

我想使用 Google 提供的模板将数据从 Pubsub 流式传输到 Bigquery,尽管我希望以每秒 1 行的速度进行流式传输。如何更新流媒体速度?任何建议将不胜感激

【问题讨论】:

  • 有什么原因吗?
  • 因为我正在使用 Data Studio 来可视化实时流数据,如果数据每秒都进来会很好看..
  • 哦 - 请注意,Data Studio 不会实时刷新 - 因此无论如何您都无法看到每秒刷新的数据

标签: google-cloud-platform google-bigquery google-cloud-dataflow google-cloud-pubsub


【解决方案1】:

我认为你不能用模板做到这一点。我看到的唯一选择是限制发布到主题的消息速率。

【讨论】:

  • 有什么办法可以做到吗?我正在使用云数据流谷歌模板作业将数据从存储在谷歌云存储中的 json 文件发布到 pubsub 主题..
  • @ParthDesai,请针对 Pub/Sub 消息限制打开一个新问题。
猜你喜欢
  • 2021-05-23
  • 2018-10-13
  • 2023-03-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-04-01
相关资源
最近更新 更多