在 Scrapy 中如何检查导出的文件是否已经存在？

Question

我写了一些 Scrapy 蜘蛛。它将数据导出到我通过命令行传递的文件名：E:\Anaconda3\envs\Blog2Doc\Lib\site-packages\scrapy\cmdline.py runspider blog2doc_scrapy\spiders\blog_spider.py -o ..\data\out.html。如果这个文件已经存在，这个蜘蛛只需将内容附加到现有文件。如何检查输出文件是否已经存在以及是否存在 - 删除它。为了导出到文件，我编写了 Blog2DocExporter(BaseItemExporter) 类。它没有打开输出文件，在构造函数中它已经打开了文件对象。所以在这个导出器类中，我无法检查导出的文件是否已经存在。

Answer 1

Scrapy 覆盖输出文件是一个已知的未解决问题。例如：

• output as xml appending to existing file when spider re-executed resulting in invalid xml
• Add a command-line option for overwriting exported file

我自己提出了一个修复程序来重命名具有递增后缀的文件。但是实现不向后兼容。 尽管如此，您可能会发现这很有用：https://github.com/scrapy/scrapy/pull/2093

它更改了FileFeedStorage，但您可以实现类似的东西并查看this other answer 以使用此类自定义提要存储类。