Scrapy Crawler 在 shell 中工作，但不在代码中

Question

您好，我正在尝试从 scrapy 构建一个简单的爬虫。

代码在 scrapy shell 中运行良好，但是当我通过控制台运行它时，它不会向 json 文件写入任何内容。

我从项目顶层目录运行它

scrapy crawl filemare -o filemare.json


import scrapy


class FilemareSpider(scrapy.Spider):
    name = "filemare"
    allowed_domains = ['https://filemare.com/']
    start_urls = ["https://filemare.com/en-
                   us/search/firmware%20download/632913359"]

    def parse(self, response):
        items = response.xpath('//div[@class="f"]/text()').extract()
        #items = response.css('div.f::text').extract()

        for url in items:
            print(url)
            yield url

Answer 1

parse 方法必须返回 dict、Scrapy Item 或 Request 对象（参见 documentation）。在您的情况下，您会产生一个字符串。如果你运行蜘蛛，你会在输出中看到一个错误。

把代码的对应部分改成这样：

...
def parse(self, response):
    items = response.xpath('//div[@class="f"]/text()').extract()

    for url in items:
        print(url)
        yield {'url': url}