【问题标题】:dse search apache uima integrationdse 搜索 apache uima 集成
【发布时间】:2017-07-18 03:16:42
【问题描述】:

我在 CentOS 7.3.1611 (Core) 上安装了带有 solr 6.0.1 的 DSE 5.1。并且在 Eclipse 中为我的注释器项目配置了 UIMA。

我正在关注 Solr 文档: https://wiki.apache.org/solr/Solr4UIMA

使用 UIMA 创建的项目有一个简单的注释器来获取人名,在 UIMA 的 CAS 可视化调试器中已经可以正常工作。并且jar已经创建并复制在solr lib目录下(DSE_HOME/solr/lib),这里也是solr的jar,用于集成uima(SOLR_HOME/contrib/uima/lib,SOLR_HOME/contrib/uima/lucene-lib , SOLR_HOME/dist/solr-uima-version)。

我在 cassandra 中创建的表是:

CREATE TABLE uima_solr.person_annotator (
    id int PRIMARY KEY,
    apellido text,
    nombre text,
    nombrecompleto text,
    solr_query text,
    uimaname set<text>

solr 核心使用架构:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<schema name="autoSolrSchema" version="1.5">
  <types>
    <fieldType class="org.apache.solr.schema.TextField" name="TextField">
      <analyzer>
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>
    <fieldType class="org.apache.solr.schema.TrieIntField" name="TrieIntField"/>
  </types>
  <fields>
    <field indexed="true" multiValued="false" name="nombrecompleto" stored="true" type="TextField"/>
    <field indexed="true" multiValued="false" name="apellido" stored="true" type="TextField"/>
    <field indexed="true" multiValued="false" name="nombre" stored="true" type="TextField"/>
    <field docValues="true" indexed="true" multiValued="false" name="id" stored="true" type="TrieIntField"/>
    <field indexed="true" multiValued="false" name="all" stored="false" type="TextField"/>
    <field indexed="true" multiValued="true" name="uimaname" stored="true" type="TextField"/>
  </fields>
  <uniqueKey>id</uniqueKey>
  <defaultSearchField>all</defaultSearchField>
  <copyField source="nombrecompleto" dest="all"/>
  <copyField source="apellido" dest="all"/>
  <copyField source="nombre" dest="all"/>
</schema>

solr_config 如下:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<config>
  <abortOnConfigurationError>${solr.abortOnConfigurationError:true}</abortOnConfigurationError>
  <luceneMatchVersion>LUCENE_6_0_0</luceneMatchVersion>
  <dseTypeMappingVersion>2</dseTypeMappingVersion>
  <directoryFactory class="solr.StandardDirectoryFactory" name="DirectoryFactory"/>
  <indexConfig>
    <rt>false</rt>
    <useCompoundFile>false</useCompoundFile>
    <ramBufferSizeMB>512</ramBufferSizeMB>
    <mergeFactor>10</mergeFactor>
    <reopenReaders>true</reopenReaders>
    <deletionPolicy class="solr.SolrDeletionPolicy">
      <str name="maxCommitsToKeep">1</str>
      <str name="maxOptimizedCommitsToKeep">0</str>
    </deletionPolicy>
    <infoStream file="INFOSTREAM.txt">false</infoStream>
  </indexConfig>
  <jmx/>
  <updateHandler class="solr.DirectUpdateHandler2">
    <autoSoftCommit>
      <maxTime>10000</maxTime>
    </autoSoftCommit>
  </updateHandler>
  <query>
    <maxBooleanClauses>1024</maxBooleanClauses>
    <filterCache class="solr.SolrFilterCache" highWaterMarkMB="256" lowWaterMarkMB="128"/>
    <enableLazyFieldLoading>true</enableLazyFieldLoading>
    <useColdSearcher>true</useColdSearcher>
    <maxWarmingSearchers>16</maxWarmingSearchers>
  </query>
  <requestDispatcher handleSelect="true">
    <requestParsers enableRemoteStreaming="true" multipartUploadLimitInKB="2048000"/>
    <httpCaching never304="true"/>
  </requestDispatcher>
  <requestHandler class="solr.SearchHandler" default="true" name="search">
    <lst name="defaults">
      <int name="rows">10</int>
    </lst>
  </requestHandler>
  <requestHandler class="com.datastax.bdp.search.solr.handler.component.CqlSearchHandler" name="solr_query">
    <lst name="defaults">
      <int name="rows">10</int>
    </lst>
  </requestHandler>
  <!--<requestHandler class="solr.UpdateRequestHandler" name="/update"/>-->
  <requestHandler class="solr.UpdateRequestHandler" name="/update/csv" startup="lazy"/>
  <requestHandler class="solr.UpdateRequestHandler" name="/update/json" startup="lazy"/>
  <requestHandler class="solr.FieldAnalysisRequestHandler" name="/analysis/field" startup="lazy"/>
  <requestHandler class="solr.DocumentAnalysisRequestHandler" name="/analysis/document" startup="lazy"/>
  <requestHandler class="solr.admin.AdminHandlers" name="/admin/"/>
  <requestHandler class="solr.PingRequestHandler" name="/admin/ping">
    <lst name="invariants">
      <str name="qt">search</str>
      <str name="q">solrpingquery</str>
    </lst>
    <lst name="defaults">
      <str name="echoParams">all</str>
    </lst>
  </requestHandler>
  <requestHandler class="solr.DumpRequestHandler" name="/debug/dump">
    <lst name="defaults">
      <str name="echoParams">explicit</str>
      <str name="echoHandler">true</str>
    </lst>
  </requestHandler>
  <admin>
    <defaultQuery>*:*</defaultQuery>
  </admin>



  <updateRequestProcessorChain default="true" name="uima">
    <processor class="org.apache.solr.uima.processor.UIMAUpdateRequestProcessorFactory">
      <lst name="uimaConfig">
        <lst name="runtimeParameters"></lst>
        <!-- Under $SOLR_HOME/solr/example-->
        <str name="analysisEngine">desc/descPersonAnnotator.xml</str>
        <bool name="ignoreErrors">false</bool>
        <lst name="analyzeFields">
          <bool name="merge">false</bool>
          <arr name="fields">
            <str>nombrecompleto</str>
          </arr>
        </lst>
        <lst name="fieldMappings">
          <lst name="type">
            <str name="name">org.apache.uima.annotator.person</str>
            <lst name="mapping">
              <str name="feature">name</str>
              <str name="field">uimaname</str>
            </lst>
          </lst>
        </lst>
      </lst>
    </processor>
    <processor class="solr.LogUpdateProcessorFactory"/>
    <processor class="solr.RunUpdateProcessorFactory"/>
  </updateRequestProcessorChain>
  <requestHandler class="solr.UpdateRequestHandler" name="/update">
    <lst name="defaults">
      <str name="update.processor">uima</str>
    </lst>
  </requestHandler>


</config>

当我使用 CQL 插入数据时,数据在 Lucene 中被正确索引,并且搜索工作正常,但 uima 注释器不起作用。此外,当我将文档上传到 solr trought Sol 命令时,文档已成功编入索引,并且搜索也可以在 CQL 中工作,但 uima 既不工作。我检查了日志,它没有显示任何错误。

我在 Solr Apache 发行版 (v6.0.1) 中进行了相同的过程,它按预期工作。

我没有看到 DSE_HOME 中的核心文件可以方便地编辑文件,并且我没有在 DSE Search 中成功集成 UIMA,我在 DSE Search 的核心配置中缺少什么?

【问题讨论】:

    标签: solr datastax-enterprise uima datastax-startup


    【解决方案1】:

    通过不遵循 Solr 文档程序找到答案,而是使用 DSE 文档,特别是 Update request processor and field transformer (FIT) [2017-07-17]。

    可以在 DSE here [2017-07-17] 中找到一个示例

    上面链接中的过程显示了如何在索引时映射字段。通过创建一个适合 UIMA 项目到 FIT 项目的 jar 并将类添加到 solrconfig.xml

    此过程允许使用 Solr 命令和使用 solr_query 的 cql 对添加的元数据进行搜索。

    【讨论】:

      猜你喜欢
      • 2017-11-25
      • 2016-06-17
      • 1970-01-01
      • 2019-09-25
      • 2015-08-28
      • 1970-01-01
      • 1970-01-01
      • 2020-07-28
      • 1970-01-01
      相关资源
      最近更新 更多