【问题标题】:New directory or file is not getting created on running the scraper (scrapy) through cmd通过 cmd 运行刮板(scrapy)时未创建新目录或文件
【发布时间】:2023-03-09 22:40:01
【问题描述】:

this is the main file

this is the settings file

pipelines.py file

items.py file

每当我运行爬虫时,它都应该创建一个 json 文件。刮板工作正常,但它只是不将内容保存到文件中。

【问题讨论】:

  • 嗨!请将您的代码发布为文本而不是图像 - 当我们可以编辑您的代码的 sn-ps 而无需转录它时,我们会更容易提出更改建议。

标签: python python-3.x web-scraping scrapy scrapy-spider


【解决方案1】:

您需要在 settings.py 中定义FEED_URI,如下所示

FEED_URI = 'file:///E:/python/venv/demo/temp/%(Name)s-%(time)s.json'

%(Name)s 将替换为蜘蛛的名称,%(time)s 将替换为爬虫运行的时间,因此每次都会创建一个新文件。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-01-18
    • 2012-07-26
    • 1970-01-01
    • 2021-08-31
    相关资源
    最近更新 更多