Centos7-Pyspider单机版安装

安装的centos版本：CentOS-7-x86_64-DVD-1804.iso

安装的python版本：Python3.6.2

系统为最干净的系统，只安装了一个界面，界面不安装也可以

centos7自带版本为：

[root@localhost ~]# python

Python 2.7.5 (default, Apr 11 2018, 07:36:10)

[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>>

安装python3.

下面介绍python3的安装方法:需要root权限

首先安装依赖包:

yum -y groupinstall "Development tools"

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

然后根据自己需求下载不同版本的Python3，我下载的是Python3.6.2

wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz

解压压缩包,进入该目录,安装python3

tar -xvJf  Python-3.6.2.tar.xz

cd Python-3.6.2

./configure --prefix=/usr/local/python3

make && make install

最后创建软连接

ln -s /usr/local/python3/bin/python3 /usr/bin/python3

ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

在命令行中进行测试:

[root@localhost Python-3.6.2]# python3

Python 3.6.2 (default, Jul 13 2018, 09:35:56)

[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux

Type "help", "copyright", "credits" or "license" for more information.

>>> exit() #退出

安装pyspider：

单机版：根据官网安装：

yum更新：

yum update

遇见询问Y or N 统一输入Y

安装wget：

yum install wget

安装扩展源：

yum -y install epel-release

安装开发编译环境

yum install gcc gcc-c++

安装依赖库：

yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

键盘输入Y

键盘输入y

升级pip（可选操作）

pip3 install --upgrade pip

出现这个错误：

解决办法：

更改pip的源：我更改为清华大学的源

修改 ~/.pip/pip.conf (没有就创建一个)， 内容如下：
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

再次执行命令：

安装pyspider

pip3 install pyspider

报错：

解决方法：

        yum install libcurl-devel

再次执行安装命令：

报错：

解决方法：

首先卸载掉原来安装的pycurl

    pip3  uninstall pycurl

然后

    wget http://curl.haxx.se/download/curl-7.36.0.tar.gz

    wget https://pypi.python.org/packages/source/p/pycurl/pycurl-7.19.3.1.tar.gz

这里要先安装curl再安装pycurl

1，安装curl

    tar -zxvf curl-7.36.0.tar.gz 

    cd curl-7.36.0/

    ./configure 

    make && make install

     export LD_LIBRARY_PATH=/usr/local/lib    #这一步至关重要，否则就会报上面所说的错误

注意export，也就是说只能在当前终端有效，另开一个终端会失效

2，安装pycurl

    tar -zxvf pycurl-7.19.3.1.tar.gz

    cd pycurl-7.19.3.1

    执行下面任意一条安装命令，如果报错就执行另一条

    python setup.py install --curl=/usr/local/bin/curl

    python setup.py install --curl-config=/usr/local/bin/curl-config

再次执行：

pip3 install pyspider

安装成功：

启动：

pyspider all

访问：localhost:5000 或者ip:5000

如果访问不成功：尝试

开放5000（pyspider默认打开5000端口，如果启动指定了其它端口请对应修改）端口并重启防火墙。如果防火墙是关闭状态请跳过下面两步

firewall-cmd --zone=public --add-port=5000/tcp --permanent
firewall-cmd --reload