【问题标题】:nutch crawl pathnutch 爬行路径
【发布时间】:2011-08-24 23:52:08
【问题描述】:

我想知道如何使 nutch 不仅爬取我指定的域,还包括我指定的域中的 dir 路径。我知道你可以在 regex-urlfilter.txt 上配置这些信息

【问题讨论】:

    标签: nutch


    【解决方案1】:

    这应该只抓取你想要的域/路径:

    +.*www\.domain\.com/yourpath/.*  
    #skip everything else  
    -.*
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多