【问题标题】:solr runtime exception when indexing with Ukranian使用乌克兰语进行索引时的 solr 运行时异常
【发布时间】:2019-10-30 15:58:04
【问题描述】:

当我将带有乌克兰语的文档添加到 Solr 索引时,我从 Solr 收到以下运行时错误

java.lang.RuntimeException: java.lang.NoClassDefFoundError: morfologik/stemming/ISemmer at org.apache.solr.servlet.HttpSolrCall.sendError(HttpSolrCall.java:593) 在 org.apache.solr.servlet.HttpSolrCall.call(HttpSolrCall.java:465) 在 org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:227) 在 org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:196) 在 org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652) 在 org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:585) 在 org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:143) 在 org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:577) 在 org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:223) 在 org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1127) 在 org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:515) 在 org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:185) 在 org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1061) 在 org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141) 在 org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:215) 在 org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:110) 在 org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97) 在 org.eclipse.jetty.server.Server.handle(Server.java:497) 在 org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:310) 在 org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:257) 在 org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:540) 在 org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635) 在 org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555) 在 java.lang.Thread.run(Thread.java:745) 引起: java.lang.NoClassDefFoundError: morfologik/stemming/IStemmer at org.apache.lucene.analysis.morfologik.MorfologikFilterFactory.create(MorfologikFilterFactory.java:78) 在 org.apache.solr.analysis.TokenizerChain.createComponents(TokenizerChain.java:67) 在 org.apache.lucene.analysis.AnalyzerWrapper.createComponents(AnalyzerWrapper.java:101) 在 org.apache.lucene.analysis.AnalyzerWrapper.createComponents(AnalyzerWrapper.java:101) 在 org.apache.lucene.analysis.Analyzer.tokenStream(Analyzer.java:179) 在 org.apache.lucene.document.Field.tokenStream(Field.java:564) 在 org.apache.lucene.index.DefaultIndexingChain$PerField.invert(DefaultIndexingChain.java:606) 在 org.apache.lucene.index.DefaultIndexingChain.processField(DefaultIndexingChain.java:344) 在 org.apache.lucene.index.DefaultIndexingChain.processDocument(DefaultIndexingChain.java:300) 在 org.apache.lucene.index.DocumentsWriterPerThread.updateDocument(DocumentsWriterPerThread.java:232) 在 org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:458) 在 org.apache.lucene.index.IndexWriter.updateDocument(IndexWriter.java:1363) 在 org.apache.solr.update.DirectUpdateHandler2.addDoc0(DirectUpdateHandler2.java:239) 在 org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:163) 在 org.apache.solr.update.processor.RunUpdateProcessor.processAdd(RunUpdateProcessorFactory.java:69) 在 org.apache.solr.update.processor.UpdateRequestProcessor.processAdd(UpdateRequestProcessor.java:51) 在 org.apache.solr.update.processor.DistributedUpdateProcessor.doLocalAdd(DistributedUpdateProcessor.java:955) 在 org.apache.solr.update.processor.DistributedUpdateProcessor.versionAdd(DistributedUpdateProcessor.java:1110) 在 org.apache.solr.update.processor.DistributedUpdateProcessor.processAdd(DistributedUpdateProcessor.java:706) 在 org.apache.solr.update.processor.LogUpdateProcessor.processAdd(LogUpdateProcessorFactory.java:104) 在 org.apache.solr.handler.loader.XMLLoader.processUpdate(XMLLoader.java:250) 在 org.apache.solr.handler.loader.XMLLoader.load(XMLLoader.java:177) 在 org.apache.solr.handler.UpdateRequestHandler$1.load(UpdateRequestHandler.java:98) 在 org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:74) 在 org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:143) 在 org.apache.solr.core.SolrCore.execute(SolrCore.java:2064) 在 org.apache.solr.servlet.HttpSolrCall.execute(HttpSolrCall.java:654) 在 org.apache.solr.servlet.HttpSolrCall.call(HttpSolrCall.java:450) ... 22 更多原因:java.lang.ClassNotFoundException: morfologik.stemming.IStemmer 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged(Native Method) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 java.net.FactoryURLClassLoader.loadClass(URLClassLoader.java:793) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) ... 50 更多

我使用这样的代码(在 PHP 中)添加文档

<?php
    $solrInputDocument = new SolrInputDocument();
    $solrInputDocument->addField('id', 'iscar-hk uk 1 1', 1);
    $solrInputDocument->addField('product_id_i', '1', 1);
    $solrInputDocument->addField('type_i', 1, 1);
    $solrInputDocument->addField('lang_code_s', 'uk', 1);
    $solrInputDocument->addField('system_instance_s', 'iscar-hk', 1);
    $solrInputDocument->addField('hello_tuk', 'abc', 1);
    $docs = array($solrInputDocument);
    $solrClient->getSolrClient()->addDocuments($docs);

我在架构中使用以下内容来定义乌克兰语字段:

<dynamicField name="*_tuk"  type="text_uk"    indexed="true"  stored="true" />
<fieldType name="text_uk" class="solr.TextField" positionIncrementGap="100">
    <analyzer>
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" words="lang/stopwords_uk.txt"/>
        <filter class="solr.MorfologikFilterFactory" />
        <filter class="solr.LowerCaseFilterFactory" />
    </analyzer>
</fieldType>

在 solrconfig.xml 中,我指定了 mofologik 分析器的路径。

  <lib dir="/opt/solr/contrib/analysis-extras/lucene-libs" regex="lucene-analyzers-morfologik-5\.2\.1\.jar" />

我已检查路径是否正确。

【问题讨论】:

  • 该错误是由未找到实际的 morfologik 库引起的 - 即它在类路径中不可用。 Solr 的启动日志将准确显示正在加载的 jar,确保包含 morfologik 文件(您可以从加载所有 jar 开始,而不是只加载一个)。解压 jar 并检查引用的接口是否存在。检查是否有需要添加的额外 morfologik 库。

标签: solr


【解决方案1】:

在较新版本的 Solr 中,您需要在 solrconfig.xml 中手动请求以包含存储 MorfologikFilterFactory 的路径(通常为 $SOLR_HOME/contrib/analysis-extras/lib/)。

您可能需要将以下两行(或类似的)添加到您的 solrconfig.xml 并重新加载您的核心。

<lib dir="${solr.install.dir:../../../..}/contrib/analysis-extras/lib" regex=".*\.jar" />
<lib dir="${solr.install.dir:../../../..}/contrib/analysis-extras/lucene-libs" regex=".*\.jar" />

另见https://lucene.apache.org/solr/guide/7_0/language-analysis.html#ukrainian

【讨论】:

  • 它是在 solrconfig.xml 中指定的,我编辑了问题以在最后传达这一点。
猜你喜欢
  • 1970-01-01
  • 2021-09-24
  • 1970-01-01
  • 2012-02-21
  • 1970-01-01
  • 1970-01-01
  • 2022-07-07
  • 1970-01-01
  • 2011-06-23
相关资源
最近更新 更多