使用 Crawler4j 抓取 PDF答案

【问题标题】：Crawling PDF's with Crawler4j使用 Crawler4j 抓取 PDF
【发布时间】：2014-08-13 16:44:15
【问题描述】：

我目前使用 crawler4j 来爬取网站并返回页面 url 和该页面的父页面 url。我正在使用基本的爬虫，它工作正常，但它没有返回 PDF。我知道它会抓取 PDF，因为我在添加过滤器和显示 pdf 之前检查了它抓取的内容。 PDF 在进入时似乎消失/跳过了

公共无效访问（页面页面）{

我不知道它为什么这样做。谁能帮我这个？这将不胜感激！谢谢

【问题讨论】：

【解决方案1】：

这是非常及时的，我今天实际上正在处理同样的问题并且遇到了完全相同的问题。对于 PDF url，我在 shouldVisit 中返回 true，但是我没有看到它们像您一样出现在访问（页面页面）中。我追踪了 CrawlConfig 的来源：

config.setIncludeBinaryContentInCrawling(true)

将其设置为 true 将导致 PDF 显示在访问方法中。尽管看起来读取二进制数据必须在实施者一方使用 Apache PDFBox 或 Apache Tika（或其他一些 PDF 库）来完成。希望这会有所帮助。

【讨论】：