爬取数据并解析

爬取数据并解析

爬虫文件中parse方法中写：

def parse(self, response):  # 解析，请求回来，自动执行parser，在这个方法中做解析
        # 解析 方式一：使用bs4解析
        # from bs4 import BeautifulSoup
        # soup=BeautifulSoup(response.text,\'lxml\')
        # soup.find_all(）

        # 方式二：使用内置的css解析器
        # css与xpath解析后的数据都放在列表中
        # 取第一个：extract_first()
        # 取出所有的extract()
        # css选择器取文本和属性：
            # .link-title::text
            # .link-title::attr(href)
        div_list = response.css(\'div.link-item\')
        for div in div_list:
            title = div.css(\'.link-title::text\').extract_first()
            url = div.css(\'.link-title::attr(href)\').extract_first()
            if \'http\' not in url:
                url = \'https://dig.chouti.com/\'+url
            img_url = div.css(\'.image-scale::attr(src)\').extract_first()
            if not img_url:
                img_url = div.css(\'.image-item::attr(src)\').extract_first()
            print(\'\'\'
            新闻标题：%s
            新闻连接：%s
            新闻图片：%s
            \'\'\' % (title, url, img_url))

        # 方式三：使用内置的xpath解析
        # css与xpath解析后的数据都放在列表中
        # 取第一个：extract_first()
        # 取出所有的extract()
        # xpath选择器取文本和属性：
            # /text()
            # /@属性名
        div_list = response.xpath(\'//div[contains(@class,"link-item")]\')
        for div in div_list:
            title = div.xpath(\'.//a[contains(@class,"link-title")]/text()\').extract_first()
            url = div.xpath(\'.//a[contains(@class,"link-title")]/@href\').extract_first()
            # if \'http\' not in url:
            #     url = \'https://dig.chouti.com/\' + url
            img_url = div.xpath(\'.//*[contains(@class,"image-scale")]/@src\').extract_first()
            # if not img_url:
            #     img_url = div.xpath(\'.//*[contains(@class,"image-item")]/@src\').extract_first()
            print(\'\'\'
            新闻标题：%s
            新闻连接：%s
            新闻图片：%s
            \'\'\' % (title, url, img_url))