elasticsearch集群之间如何同步数据？

Question

我想在不同的物理位置备份弹性搜索数据。 我一开始尝试将所有elasticsearch节点放在同一个集群中，但是当程序查询或更新elasticsearch时，大数据会在互联网上传输。会造成网络流量的一大笔钱，还有网络延迟。

有没有什么简单的方法可以在两个 elasticsearch 集群之间同步数据？这样我就只能在互联网上同步更改的数据。

PS： 我不太在意数据同步延迟，不到 1 分钟是可以接受的

Answer 1

如果您运行的是最新版本的 Elasticsearch（5.0 或 5.2+），您需要拥有或添加 date 字段 updatedAt 或类似名称，然后在目标集群端每 1 分钟运行一次 cron它将像这样运行Reindex API 查询：

POST _reindex
{
  "source": {
    "remote": {
      "host": "http://sourcehost:9200",
      "username": "user",
      "password": "pass"
    },
    "index": "source",
    "query": {
      "range": {
        "updatedAt": {
          "gte": "2015-01-01 00:00:00"
      }
    }
  },
  "dest": {
    "index": "dest"
  }
}

您可以在此处获取有关 Reindex API 的更多信息 - https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-range-query.html

如果您使用的是旧版 Elasticsearch (elasticdump (https://github.com/taskrabbit/elasticsearch-dump) 使用与 updatedAt 字段类似的方法传输数据。