【问题标题】:Couchbase Elasticsearch Connector Saving Checkpoint Same BucketCouchbase Elasticsearch 连接器保存检查点相同的存储桶
【发布时间】:2019-07-15 10:30:31
【问题描述】:

Couchbase Elasticsearch 连接器将检查点信息保存到我复制到 Elasticsearch 的同一存储桶中。

我想配置连接器以将检查点信息保存到另一个存储桶?我在文档中找不到任何关于它的信息

Couchbase Elasticsearch Connector

【问题讨论】:

  • 连接器 4.0 版无法做到这一点。听起来是一个合理的请求,所以我们将其跟踪为CBES-114
  • 同时,您能否详细说明一下为什么检查点文件会导致问题?也许有解决问题的方法。
  • 感谢您的帮助。我只在我的存储桶中存储一种类型,因此我不想在我的存储桶中放入另一种东西。长时间运行连接器后,它可能会导致内存配额问题。 Bucket中checkpoint数据的TTL多少?
  • 对于构成 Couchbase 存储桶的 1024 个(macOS 上为 64 个)虚拟存储桶(也称为“分区”)中的每一个都有一个检查点文档。每个文档都存储一个检查点,用于标识传播到 Elasticsearch 的最新数据库更改。文档不会随着时间的推移而增长。我认为存储所有的检查点只需要大约 100 KB。在您使用cbes-checkpoint-clear 命令行工具删除它们之前,这些文档会一直保留在存储桶中。

标签: elasticsearch couchbase


【解决方案1】:

非常感谢@dnault

https://issues.couchbase.com/browse/CBES-114

可以通过 metadataBucket 属性配置。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-04-07
    • 1970-01-01
    • 2018-08-23
    • 1970-01-01
    • 1970-01-01
    • 2012-03-13
    • 1970-01-01
    相关资源
    最近更新 更多