SolrInputDocument/tika 提取对许多文档的索引很慢

Question

我正在使用 Solr 4.5。我正在尝试使用 Apache Tika 1.4 遍历多个 html 文件以从文件中提取数据。然后将这些元数据字段添加到 SolrInputDocument 。每次我必须循环文件并创建 SolrInputDocument 的实例。索引似乎很慢，我们有大量的文件要索引。我需要专家的建议。这是我正在使用的示例代码。

    String urlString = "http://server/solr/";
    SolrServer solr = new HttpSolrServer(urlString);
    UpdateRequest updrequest = new UpdateRequest("/update");

     //For tika extraction initialisation
    BodyContentHandler handler = new BodyContentHandler(10 * 1024 * 1024);
    AutoDetectParser autoparser = new AutoDetectParser();
    Metadata metadata = new Metadata();
    ParseContext parseContext = new ParseContext();

然后对于每个 html 文件，我调用我编写的 Tika 提取方法 ExtractData，并将我在此处初始化的每个对象与我的文件一起传递：

ExtractData(file,solr,updrequest,handler,autoparser,metadata,parseContext);

ExtractData的代码如下所示

public void ExtractData(String file,SolrServer solr,UpdateRequest updrequest,BodyContentHandler handler,AutoDetectParser autoparser,Metadata metadata,ParseContext parseContext) throws IOException,
        SAXException, TikaException, SolrServerException {

    SolrInputDocument solrinputdocument = new SolrInputDocument();
    metadata.set(Metadata.CONTENT_TYPE, "text/html");
    autoparser.parse(input, handler, metadata, parseContext);

    //loop all metadata from the extraction and add the fields to the solr
    String[] metadataNames = metadata.names();
    for (String name : metadataNames) {
        solrinputdocument.addField(name, metadata.get(name));
        }
    }
    updrequest.add(solrinputdocument);
    solr.request(updrequest);
      }                     

Answer 1

正如 cheffe 所说，现在你不能在 DIH 中使用多线程（过去有可能这样做，但有问题并被删除）。所以你最好的选择是：

1. 在自己的客户端程序中使用 tika 进行提取
2. 使用 SolrJ api 发送到 solr
3. 您在多个线程中执行此操作，调整数字直到您看到最佳方案。还要调整通常的 lucene/solr 配置以索引吞吐量（remBufferSizeMB 等）

Answer 2

尝试用显式 HtmlParser 替换 AutoDetectParser。我最近发现自动检测过程可能非常缓慢，似乎多次加载文件。