【问题标题】:How to stop Apify from saving handled requests?如何阻止 Apify 保存已处理的请求?
【发布时间】:2020-10-21 12:37:22
【问题描述】:

似乎 Apify 正在将已处理的请求保存在“已处理”目录中。我想停止这个,因为 apify 不会爬取我之前爬过的页面。有人知道如何阻止 Apify 保存已处理的请求吗?

【问题讨论】:

    标签: javascript web-crawler apify


    【解决方案1】:

    我假设您使用的是 Apify CLI。只需使用apify run -p 开始运行。 -p 表示清除旧的请求队列。

    【讨论】:

      【解决方案2】:

      您可以通过使用不同的uniqueKey 将请求多次放入队列来解决此问题,这样在已经处理一次后它就不会被请求队列自动过滤掉。本地文件只模拟RequestQueue 的行为,与它在 Apify 平台上的行为完全相同。

      【讨论】:

        猜你喜欢
        • 2011-06-18
        • 2014-02-10
        • 2015-05-29
        • 2015-12-17
        • 1970-01-01
        • 2011-07-14
        • 2012-11-13
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多