【发布时间】:2020-10-21 12:37:22
【问题描述】:
似乎 Apify 正在将已处理的请求保存在“已处理”目录中。我想停止这个,因为 apify 不会爬取我之前爬过的页面。有人知道如何阻止 Apify 保存已处理的请求吗?
【问题讨论】:
标签: javascript web-crawler apify
似乎 Apify 正在将已处理的请求保存在“已处理”目录中。我想停止这个,因为 apify 不会爬取我之前爬过的页面。有人知道如何阻止 Apify 保存已处理的请求吗?
【问题讨论】:
标签: javascript web-crawler apify
我假设您使用的是 Apify CLI。只需使用apify run -p 开始运行。 -p 表示清除旧的请求队列。
【讨论】:
您可以通过使用不同的uniqueKey 将请求多次放入队列来解决此问题,这样在已经处理一次后它就不会被请求队列自动过滤掉。本地文件只模拟RequestQueue 的行为,与它在 Apify 平台上的行为完全相同。
【讨论】: