【问题标题】:Datastore writes to same entitygroup from Dataflow数据存储从 Dataflow 写入相同的实体组
【发布时间】:2019-02-17 23:15:01
【问题描述】:

我正在从 Dataflow 写入数据存储区,pcollection 有多个相同实体组的实体要写入数据存储区。由于相同的实体写入/更新限制,将它们写入数据存储会很慢吗?我可以以某种方式从数据流中进行交易吗?如果是,在单个事务中编写相同的实体组会更快吗?

【问题讨论】:

    标签: google-cloud-platform google-cloud-datastore google-cloud-dataflow entity-group-transactions


    【解决方案1】:

    是的,您需要遵守每个实体组的最大平均 1 次写入/秒。它不是在 API 级别强制执行的,这是你的应用程序的责任,如果你超过它(长时间,它们的长度也取决于写入峰值速率)你只会得到错误。

    我不熟悉数据流,所以我不知道您是否可以进行交易,但即使可以,他们也无济于事:您仍然需要尊重每个实体组的最大写入速率.此外,由于它们所做的额外工作以及遇到冲突时进行的重试,事务通常较慢。如果您不需要它们(以防止冲突和/或保持一致性)需要,那么没有它们会更快。

    但请记住,一次写入最多可以包含 500 个实体,请参阅此问答的更新,具体涉及交易案例:Datastore: Multiple writes against an entity group inside a transaction exceeds write limit?

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2018-03-30
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-01-23
      • 1970-01-01
      • 2018-07-18
      相关资源
      最近更新 更多