【问题标题】:Can't run parallel jobs in Heritrix3 Web Crawler无法在 Heritrix3 Web Crawler 中运行并行作业
【发布时间】:2015-07-22 21:45:07
【问题描述】:

我在 Heritrix 3.2.0 中创建了 2 个作业,我在构建后启动了这两个作业,都开始运行,但在 15 到 20 秒后,一个作业停止,另一个作业继续,当一个作业停止时,作业日志中的状态如下:

2015-05-12T06:40:33.715Z 信息为空 20150512063923

因此无法对作业进行多处理。如何解决?

【问题讨论】:

    标签: linux bash web-crawler heritrix


    【解决方案1】:

    不,它只是意味着这项工作已经完成(队列为空)。如果没有下载任何页面,可能意味着您的决策规则过于严格,不允许下载任何内容。

    【讨论】:

      猜你喜欢
      • 2018-10-20
      • 2011-11-20
      • 2021-11-21
      • 2014-01-25
      • 2023-03-29
      • 2023-04-02
      • 2013-04-03
      • 2015-09-20
      • 2022-11-11
      相关资源
      最近更新 更多