1.首先搭建linux中的Scrapy环境
（1）pip
登入hadoop用户，首先看下pip版本是多少
输入:pip -V是不是最新版本的如果不是执行pip install --upgrade pip命令
（2）安装gcc
输入:yum -y install gcc
我在安装的时候报错
解决方法:https://blog.csdn.net/baiyan_er/article/details/80211894这个链接
（3）安装Twisted,官网下载Twisted最新版
下载后，传到hadoop用户下解压,tar -jvxf Twisted-18.4.0.tar.bz2
解压后执行命令:python setup.py install
（4）安装 scrapy
输入:pip install scrapy
2、以上是linux 安装scrapy的过程,接下来我们测试下看看能不能爬取
把我们之前在windows下的爬虫上传到hadoop的目录上。这里test_spider这个目录是需要先新建的