linux环境下安装sphinx中文支持分词搜索(coreseek+mmseg)

 linux环境下安装sphinx中文支持分词搜索(coreseek+mmseg) 2013-11-10 16:51:14

分类： 系统运维

 


为什么要写这篇文章？

  答：通过常规的三大步（./configure,make,make install）的编译安装mmseg时，总是出现找不到src/Makefile.in文件的错误（config.status: error: cannot find input file: src/Makefile.in）。即便是依照官方教程所说的先安装好依赖软件（yum -y install glibc-common libtool autoconf automake mysql-devel expat-devel，如果是用编译安装的方法安装的Mysql就不用装mysql-devel，在编译csf时指定Mysql的安装目录即可）也无法解决问题。

 

官方安装说明：（原文）
============================================================

依赖环境安装：
Debina等使用deb系统：
aptitude -y install yum glibc-common build-essential libtool autoconf automake libexpat-dev  mysql-client （如果是用编译安装的方法安装的Mysql就不用装mysql-client ，在编译csf时指定Mysql的安装目录即可）
Centos等使用yum系统：
yum -y install glibc-common libtool autoconf automake expat-devel  mysql-devel （如果是用编译安装的方法安装的Mysql就不用装mysql-devel，在编译csf时指定Mysql的安装目录即可）
BSD系统：
pkg_add -r libtool autoconf automake mysql5-client iconv
安装升级autoconf
coreseek需要autoconf 2.64以上版本，因此需要升级autoconf，不然会报错从http://download.chinaunix.net/download.php?id=29328&ResourceID=648下载autoconf-2.64.tar.bz2，安装方法如下：

  • tar -jxvf autoconf-2.64.tar.bz2
  • cd autoconf-2.64
  • ./configure
  • make
  • make instal
    • coresek source下载
    http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz
    mmseg安装：
  • tar xzvf coreseek-3.2.14.tar.gz
  • cd coreseek-3.2.14
  • ls
  • csft-3.2.14 mmseg-3.2.14 README.txt testpack
  • cd mmseg-3.2.14
  • aclocal
  • libtoolize --force
  • automake --add-missing
  • autoconf
  • autoheader
  • make clean #此时如有错误可忽略不管
  • ./configure --prefix=/usr/local/mmseg3
  • make
  • make install
    • cp -f src/*/*.h /usr/local/mmseg3/include/mmseg/

    一定要执行以上的拷贝，否则coreseek在make编译时会出错。

    coreseek安装：

  • cd ..
  • cd csft-3.2.14
  • bash buildconf.sh
  • aclocal
  • libtoolize --force
  • automake --add-missing
  • autoconf
  • autoheader
  • perl -pi -e 's/lpthread/lpthread -liconv/g' src/Makefile*
  • make clean #此时如有错误可忽略不管
  • ./configure --prefix=/usr/local/coreseek --enable-id64 --without-python --with-mysql=/usr/local/mysql --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/
  • make
  • make install
  • cp /usr/local/coreseek/etc/sphinx.conf.dist /usr/local/coreseek/etc/csft.conf
    • 测试mmseg分词和coreseek搜索:  参考 http://blog.chinaunix.net/uid-20639775-id-3261834.html
    备注：需要预先设置好字符集为zh_CN.UTF-8，确保正确显示中文，我的系统字符集为en_US.UTF-8也是可以的。

  • cd testpack
  • cat var/test/test.xml #此时应该正确显示中文
  • /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml
  • /usr/local/coreseek/bin/indexer -c etc/csft.conf --all
  • /usr/local/coreseek/bin/search -c etc/csft.conf 网络搜索
  • 此时正确的应该返回
  • words:
  • 1. '网络': 1 documents, 1 hits
  • 2. '搜索': 2 documents, 5 hits

    • **************分词库*****************

     

    mkdir -p /usr/local/mmseg3/etc

    cp <mmseg_soft_rootdir>/data/unigram.txt /usr/local/mmseg3/etc/

    cd  /usr/local/mmseg3/etc

    ../bin/mmseg -u unigram.txt

    生成unigram.txt.uni

    cp unigram.txt.uni uni.lib

    【分词库配置说明】

    vi mmseg.ini

    在里面添加内容
    [mmseg]
    merge_number_and_ascii=1;
    number_and_ascii_joint=-.;
    compress_space=0;
    seperate_number_ascii=1;
    以上解释如下
    //
    merge_number_and_ascii: 字母和数字连续出现是非切分
    number_and_ascii_joint:连接数字和字母可用的符号，如’-’ ‘.’ 等
    compress_space：暂时无效
    seperate_number_ascii：是否拆分数字，如 1988 -> 1/x 9/x 8/x 8/x
    //

    *********************************

    cd /usr/local/coreseek/

    bin/indexer --all [--config sphinx.conf] 用于创建全文索引

    bin/search <搜索关键字>   一个简单的命令行(CLI) 的测试程序，用于测试全文索引;

    bin/searchd [--config sphinx.conf] 一个守护进程，其他软件可以通过这个守护进程进行全文检索;

    附加：

    1. 如需启用python支持，请安装或者升级至python2.6，configure之中，去掉--without-python，加上--with-python，然后重新编译安装
    python data source演示：下载

    2. 如果不可以搜索中文，请首先检查英文是否正常；如英文正常，则请检查：
      a. charset_dictpath = etc/dict/   #请确保uni.lib在此目录下
          charset_type = zh_cn.utf-8
      b. charset_table的配置请注释掉
      c. 请确保从数据来源读取的数据，为utf-8字符集；
    　　MySQL4.1起可以通过SET NAMES设定输出字符集，即使原始数据为GBK；
    　　MySQL4.1以下版本，请直接联系我们解决GBK问题；
      d. 请确保你测试检索时，传送到search或者searchd的字符串尾utf-8
      e. 请查看search或者Query返回信息中，分词信息是否正确
      d. 词典的设置和构建，具体请查看mmseg
      f. 请前往 论坛 提出问题


    3. 如果提示：iniparser: cannot open /usr/local/csft/mmseg.ini
    　请前往查看mmseg.ini具体设置方法

    4. 如果提示no working pthreads library found，请参考。
    ===============================================================
    5. coreseek启动脚本
    coreseek源码包里没有启动程序，只能手动通过命令来启动，将下面的文件命名为shinxed，保存在/etc/ini.d/里，就可以实现相应的系统自动启过徎。

  • #!/bin/sh
  • # sphinx: Startup script for Sphinx search
  • #
  • # chkconfig: 345 86 14
  • # description: This is a daemon for high performance full text \
  • # search of MySQL and PostgreSQL databases. \
  • # See http://www.sphinxsearch.com/ for more info.
  • #
  • # processname: searchd
  • # pidfile: /var/run/coreseek.pid
  • # Source function library.
  • . /lib/lsb/init-functions
  • sphinxlocation=/usr/local/coreseek
  • name=coreseek
  • daemon=$sphinxlocation/bin/searchd
  • config="-c $sphinxlocation/etc/csft_mysql.conf"
  • RETVAL=0
  • PATH=$PATH:$sphinxlocation/bin
  • start() {
  • echo -n $"Starting Sphinx daemon: "
  • start-stop-daemon --start --quiet --pidfile /var/run/$name.pid \
  • --exec $daemon -- $config || true
  • echo "$name."
  • }
  • stop() {
  • echo -n $"Stopping Sphinx daemon: "
  • start-stop-daemon --stop --quiet --pidfile /var/run/$name.pid \
  • --exec $daemon -- $config || true
  • }
  • # See how we were called.
  • case "$1" in
  • start)
  • start
  • ;;
  • stop)
  • stop
  • ;;
  • status)
  • status $processname
  • RETVAL=$?
  • ;;
  • restart)
  • stop
  • sleep 3
  • start
  • ;;
  • condrestart)
  • if [ -f /var/run/$name.pid ]; then
  • stop
  • sleep 3
  • start
  • fi
  • ;;
  • *)
  • echo $"Usage: $0 {start|stop|status|restart|condrestart}"
  • ;;
  • esac
  • exit $RETVAL
    • 其中condrestart是conditional restart的意思，如果服务当前已经是运行的话，它可以重启这个服务，但是如果服务没有运行，condrestart是无法启动这个服务的。而restart都可以。

    然后可以使用 sudo /etc/inid.d/sphinxed start来启动

    ubuntu下开机自动启动：sudo update-rc.d sphinxed defaults

    start-stop-daemon是一个很优秀的后台运行管理程序,采用C开发。Ubuntu上使用start-stop-daemon比较方便,CetnOS就要手动安装下。

  • yum install gcc
  • cd /tmp
  • wget http://developer.axis.com/download/distribution/apps-sys-utils-start-stop-daemon-IR1_9_18-2.tar.gz
  • tar zxf apps-sys-utils-start-stop-daemon-IR1_9_18-2.tar.gz
  • cd apps/sys-utils/start-stop-daemon-IR1_9_18-2/
  • gcc start-stop-daemon.c -o start-stop-daemon
  • cp start-stop-daemon /usr/local/bin/start-stop-daemon

    • 5. SphinxClient 安装php扩展sphinx
    或者可以直接使用$root_path/coreseek-version/testpack/api/目录中的提供的api接口文件
    1.安装

  • 1、先安装sphinxclient
  • #cd /usr/local/src
  • #wget http://sphinxsearch.com/files/sphinx-0.9.9.tar.gz
  • #tar xzvf sphinx-0.9.9.tar.gz
  • #cd sphinx-0.9.9/api/libsphinxclient
  • #vim sphinxclient.c
  • 找到
  • void sock_close ( int sock );
  • 改为
  • static void sock_close ( int sock );
  • #./configure --prefix=/usr/local/sphinxclient
  • #make
  • #make install
  • 2、安装sphinx扩展
  • #wget http://pecl.php.net/get/sphinx-1.0.4.tgz
  • #tar xvzf sphinx-1.0.4.tgz
  • #cd sphinx-1.0.4
  • #/usr/local/php/bin/phpize
  • #./configure --with-php-config=/usr/local/php/bin/php-config --with-sphinx=/usr/local/sphinxclient
  • #make
  • #make install
  • 修改php.ini
  • extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/"
  • [sphinx]
  • extension=sphinx.so
    • 2.测试
       1、安装sphinx
          请参照文档http://linux008.blog.51cto.com/2837805/622088
    2、编写测试文件
  • #vim sphinx.php
  • $s = new SphinxClient;
  • setServer("localhost", 9312);
  • $s->setMatchMode(SPH_MATCH_ANY);
  • $s->setMaxQueryTime(3);
  • $result = $s->query("demo");
  • var_dump($result);
  • ?>
  • #/usr/local/php/bin/php sphinx.php 运行结果
  • array(9) {
  • ["error"]=>
  • string(0) ""
  • ["warning"]=>
  • string(0) ""
  • ["status"]=>
  • int(0)
  • ["fields"]=>
  • array(5) {
  • [0]=>
  • string(6) "cat_id"
  • [1]=>
  • string(13) "provider_name"
  • [2]=>
  • string(12) "goods_number"
  • [3]=>
  • string(18) "promote_start_date"
  • [4]=>
  • string(8) "keywords"
  • }
  • ["attrs"]=>
  • array(8) {
  • ["goods_sn"]=>
  • string(1) "3"
  • ["goods_name"]=>
  • string(1) "3"
  • ["brand_id"]=>
  • string(1) "1"
  • ["goods_weight"]=>
  • string(1) "5"
  • ["market_price"]=>
  • string(1) "5"
  • ["shop_price"]=>
  • string(1) "5"
  • ["promote_price"]=>
  • string(1) "5"
  • ["gid"]=>
  • string(10) "1073741825"
  • }
  • ["total"]=>
  • int(0)
  • ["total_found"]=>
  • int(0)
  • ["time"]=>
  • float(0)
  • ["words"]=>
  • array(1) {
  • ["demo"]=>
  • array(2) {
  • ["docs"]=>
  • int(0)
  • ["hits"]=>
  • int(0)
  • }
  • }
  • }

    • 相关文章：

    • 2021-09-03
    • 2021-06-20
    • 2022-12-23
    • 2021-08-17
    • 2021-08-19
    • 2022-12-23
    • 2022-01-28
    • 2022-02-20
    猜你喜欢
    • 2022-12-23
    • 2021-11-20
    • 2021-07-09
    • 2021-09-08
    • 2021-12-09
    • 2021-08-15
    相关资源
    相似解决方案
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode