如何在发送命令之前确保 Elastic Search 是健康的？

Question

我正在使用来自 Javascript (NodeJS) 客户端的 Elastic Search 的 Bulk API 为一堆文档编制索引。每次通话我都会发送一千个文档。该实例处理它，直到它达到 100 次调用（大约 100K 文档）。然后它会返回 Service Unavailable (503) 错误。

在进行新呼叫之前，我会等待前一个呼叫完成并额外等待一秒钟。

在搜索这个问题时，我发现了一篇讨论 Rails 修复的帖子：https://medium.com/@thetron/dealing-with-503-errors-when-testing-elasticsearch-integration-in-rails-ec7a5f828274。作者使用以下代码使错误消失：

before do
    repository.create_index!
    repository.client.cluster.health wait_for_status: ‘yellow’
end

基于此，我写了以下内容：

const body = [
    // 1K actions/docs
];
elastic.cluster.health({
    waitForStatus: 'yellow',
    timeout: '60s', // I also tried using the default timeout
    requestTimeout: 60000
}, function (error, response) {
    if (!!error) {
        console.error(error);
        return;
    }
    elastic.bulk({
        body: body
    }, function (error, response) {
        if (!!error) {
            console.error(error);
            return;
        }
        console.log('Success!');
    });
});

不确定是否有任何区别，但该实例正在 AWS 上运行。由于文档数量众多，也许扩大实例是一种解决方案。但我想在这样做之前弄清楚如何处理这个错误。即使我必须让我的代码变慢一些。

Answer 1

您最好的办法是按您所说的那样扩展您的集群，但您的加载过程也应该能够处理故障。

话虽如此，以下是 Elasticsearch 集群状态：

• 红色 - 至少有一个未分配的主分片
• 黄色 - 至少有一个未分配的副本分片
• 绿色 - 一切都已分配且健康

所以在你上面的例子中，你不想等待yellow，你想等待green。