主从设置中的 Apache Solr 故障转移支持

Question

我们的开发团队目前正在考虑将我们的搜索系统迁移到 Apache Solr，我们非常感谢一些有关设置的建议。我们正在索引大约两亿个数据库行。我们全天添加了大约十万行新行。这些新的数据库行必须在收到后两分钟内可供搜索。

我们不希望索引使搜索器陷入困境，因此我们的想法是在复制设置中让两台 Solr 服务器在不同的机器上运行。第一个 Solr 实例将是索引器。它将使用 DataImportHandler 来索引 delta 并启用自动提交以防止过度提交率。索引优化将在预定期间进行。第二个 Solr 实例（从属）将是主搜索器，并将其索引存储在 RAID 固态驱动器上。

我们关心的是故障转移。我们的搜索是关键任务。如果主搜索器由于某种原因出现故障，我们的搜索服务将自动将查询分流到索引器节点。不过，索引同样重要。如果索引器死机，我们需要进行热故障转移。是否有推荐的方法在 Solr 复制中自动执行主节点故障转移？我已经开始研究 ZooKeeper，但我不确定这是否是最好的方法。

Answer 1

正如您所确定的，可以使用复制来处理搜索故障转移。

主故障转移有点棘手。一个想法类似于以下逻辑设置

+--------+       +--------+
|  Slave |  ...  |  Slave |
+--------+       +--------+
     |               |
     v (replicate)   v
+---------------------------+
|     Load balancer         |
+---------------------------+
         /         \
        v           v
+--------+       +--------+
| Master | --->  | Master |
+--------+       +--------+

• 为了使 Master 索引保持最新，repeater 模式可用于热备份 master 可以从主 master 复制
• 要么
  • 在主 master 上使用类似 Ping 处理程序的东西作为保持活动通知。如果无法访问，请编写一个小的编程组件来触发辅助主控的数据导入处理程序接管。
  • 在所有主服务器上保持数据导入处理程序处于活动状态，允许其中任何一个无需额外配置即可接管操作。

请注意，您可能需要配置负载平衡器，以使从属设备在任何时间点都只能从一个主设备进行复制。

顺便说一句，听听您为如此庞大的数据集编制索引的一些经验会很有趣。