如何从 ES 1.7 读取大量数据以索引到 ES 6.7

Question

需要从 ES 1.7 读取数据以索引到 6.7。 因为没有可用的升级。需要索引 2 亿条记录的近 5 TB 数据。我们使用搜索和滚动方法使用 ES_REST_high_level_client(6.7.2)。但无法使用滚动 ID 滚动。另一种尝试的方法是使用 from 和 batch size。最初读取速度更快，因为从偏移量增加读取真的很糟糕。最好的方法是什么。

第一种使用搜索和滚动的方法。

            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
            searchSourceBuilder.size(10);
            searchRequest.source(searchSourceBuilder);
            searchRequest.scroll(TimeValue.timeValueMinutes(2));
            SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
            String scrollId = searchResponse.getScrollId();

    while (run) {
                SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId);
                scrollRequest.scroll(TimeValue.timeValueSeconds(60));
                SearchResponse searchScrollResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT);
                scrollId = searchScrollResponse.getScrollId();
                hits = searchScrollResponse.getHits();

                if (hits.getHits().length == 0) {
                    run = false;
                }
            }

例外 线程“主”中的异常 ElasticsearchStatusException [Elasticsearch 异常 [type=exception, reason=ElasticsearchIllegalArgumentException[Failed to decode scrollId];嵌套：IOException[Bad Base64 input character decimal 123 in array position 0]; ]] 在 org.elasticsearch.rest.BytesRestResponse.errorFromXContent(BytesRestResponse.java:177) 在 org.elasticsearch.client.RestHighLevelClient.parseEntity(RestHighLevelClient.java:2050) 在 org.elasticsearch.client.RestHighLevelClient.parseResponseException(RestHighLevelClient.java:2026) ：

第二种方法：

int offset = 0;
        boolean run = true;
        while (run) {
            SearchRequest searchRequest = new SearchRequest("indexname");
            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
            searchSourceBuilder.from(offset);
            searchSourceBuilder.size(500);
            searchRequest.source(searchSourceBuilder);
            long start = System.currentTimeMillis();
            SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
            long end = System.currentTimeMillis();

            SearchHits hits = searchResponse.getHits();
            System.out.println(" Total hits : " + hits.totalHits + " time : " + (end - start));
            offset += 500;
            if(hits.getHits().length == 0) {
                run = false;
            }
        }

任何其他读取数据的方法。

Answer 1

通常最好的解决方案是远程重新索引：https://www.elastic.co/guide/en/elasticsearch/reference/6.7/docs-reindex.html#reindex-from-remote

我不确定 REST 客户端是否仍然与 1.x 兼容，而远程重新索引应该支持它。

深度分页非常昂贵，这就是为什么应该避免它——你会在你的例子中看到原因。