Python爬虫--慕课课程列表爬取--scrapy框架（安装以及搭建）

一、scrapy的安装

1、确定安装python以及pip

2、由于我是用的是pycharm开发工具编写，所以需要下载这个软件

3、scrapy安装

打开命令行界面输入 pip install scrapy即可安装。

4、验证是否安装成功

 

输入 scrapy若有如下内容则安装成功

 

 二、scrapy工程的搭建

其后续步骤可参考https://blog.csdn.net/zjiang1994/article/details/52779537

其博文已经解释的十分清楚，十分适合对scrapy框架刚入门的同学学习参考。

本文说一下我在学习中遇到的问题。

1、慕课网的代码已经发生改变，其XPATH部分已经不可用，现将更新后的代码贴出如下

 for box in response.xpath(\'//div[@class="course-card-container"]/a[@target="_blank"]\'):
            item[\'url\']=\'http://www.imooc.com\'+box.xpath(\'.//@href\').extract()[0]
            item[\'title\']=box.xpath(\'.//h3/text()\').extract()[0].strip()
            item[\'image_url\']=\'http:\'+box.xpath(\'.//@data-original\').extract()[0]
            item[\'student\']=box.xpath(\'.//div[@class="course-card-info"]/span[2]/text()\').extract()[0].strip()
            item[\'introduction\'] = box.xpath(\'.//p[@class="course-card-desc"]/text()\').extract()[0].strip()
            #返回信息
            yield item

 2、如何在pycharm中运行scrapy工程

我们需要在scrapyTest工程文件夹下加入start.py

 

 

其代码为：

from scrapy import cmdline
#scrapy crawl itcast （itcast为爬虫名）
cmdline.execute("sscrapy crawl  MySpider".split())

 完成后需要在pycharm中进行设置

 

 

 

 将路径改为你刚才创建的start.py即可

3、图片无法下载至指定文件夹中（未解决）

4、其中爬虫用到了xpath的知识，https://www.w3school.com.cn/xpath/xpath_syntax.asp，可以参考本链接

，简单易懂。