用python爬取伯乐在线的准备

1.在pycharm选择编译器

2.创建项目

。

3。出现“No module named” 'win32api'

4.配置main

新建一个main，

from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"])

在setting.py 中，修改

# Obey robots.txt rules
ROBOTSTXT_OBEY = False