如何使用 edu.uci.ics.crawler4j.crawler.WebCrawler 发现所有 HTML 元标记

Question

我正在完成一个研究项目，对用于描述科学和学术期刊的所有 HTML 元标记进行分类，例如都柏林核心、开放图、棱镜、引文、书目等。

我正在使用 edu.uci.ics.crawler4j.crawler.WebCrawler 并让它适用于少数种子 URL。

我的问题是我需要一个更大的种子 URL 列表。

我有什么选择？

我是否必须手动搜索网络以查找期刊网站，或者我可以使用类似于crawler4j 的内容来发现种子网站？

Answer 1

生成好的种子是Web-Crawling 领域的普遍问题，尤其是对于特定领域 任务（例如只看学术期刊）。一般来说，有几种选择：

• 使用开放式 Web 目录（例如 dmoz、...）或期刊列表（例如 Reuters List）为知名期刊收集预先分类的种子点。

• 理论上，大型搜索引擎已经收获了相当大一部分 WWW。您可以尝试对预定义的查询执行半自动搜索并处理命中。但是，这可能会导致一些更复杂的网络爬虫技术（例如focused crawling）

一个选项是：

• 使用crawler4j 从Reuters 收集您想要调查的领域的期刊名称。
• 为此，您需要查看日志列表，例如business journal list。期刊名称总是在h4标签中，可以很容易地提取出来。
• 提取名称后，您只需找出对应的 URL。为此，您可以使用上面的搜索引擎方法。很有可能，第一个点击应该是期刊的网页。