【问题标题】:SOLR replication keeps downloading entire index from masterSOLR 复制不断从主服务器下载整个索引
【发布时间】:2011-09-20 02:37:13
【问题描述】:

我有 2 个从具有 17GB 索引的主复制。我将两个从站同步到此,之后我将轮询间隔设置为 60 秒。

其中一个从站尝试下载整个 17GB 索引,即使其中只有一小部分发生了变化。另一个不这样做 - 它能够在没有这种蛮力同步的情况下获得最新的索引。冗余下载导致我超出了我的磁盘空间配额,因为下载 17GB 需要 60 多秒,并且 solr 开始第二次同步到另一个临时目录。

有人对如何调试有任何提示吗?

【问题讨论】:

  • 是否有可能索引在复制到从属 2 之前已优化,而在复制到从属 1 之前未优化?
  • 我怀疑优化是在我看到问题的时间范围内发生的。感谢您的回复。

标签: solr indexing replication


【解决方案1】:

我只能看到三个可能的原因:

  1. 在导致合并所有基础段的时间间隔内触发优化。见:Optimize performance
  2. 您运行的合并因子非常高,导致您的索引与每次提交合并。见:Merge factor
  3. 您正在运行复合文件。查看配置:<useCompoundFile>false</useCompoundFile> 这也会在每次提交时导致段合并。

我能想到的唯一调试方法是使用Solr Replication HTTP API 手动进行复制。

使用以下命令禁用复制并观察 Solr 主服务器中文件的更新情况: http://host:port/solr/replication?command=indexversion

接着是:

http://host:port/solr/replication?command=indexversion

希望这会有所帮助!

【讨论】:

  • 非常感谢 Max 的回复。我已经离开了我遇到这个问题的公司,所以我无法跟进,但希望我的前同事会使用这些信息来解决问题:)
  • 为什么要运行完全相同的命令两次?我不明白。
  • 天哪,它可能是错误的。我得弄清楚我之前的意思。
猜你喜欢
  • 1970-01-01
  • 2017-07-06
  • 2015-10-17
  • 1970-01-01
  • 2021-04-21
  • 1970-01-01
  • 2015-10-24
  • 1970-01-01
  • 2021-10-08
相关资源
最近更新 更多