scrapy 爬虫--修改配置文件

1.setting 文件
–修改ROBOT协定 True – False
ROBOTSTXT_OBEY = True

#打开请求DEFAULT_REQUEST_HEADERS

#打开ITEM_PIPELINESE

#打开DOWNLOAD_DELAY

#设置设置DOWNLOADER_MIDDLEWARES & 请求头设置
UserAgentMiddleware与middlewares.py文件中添加的内容保持一致

middlewares.py文件添加
#辅助设置middlewares文件