如何从页面抓取子类别？答案

【问题标题】：how to crawl subcategories from a page?如何从页面抓取子类别？
【发布时间】：2014-08-05 07:49:14
【问题描述】：

我正在尝试用 java 编写一个主题爬虫。我已经为亚马逊写了一个爬虫，它遍历整个网站并给我所有的链接。现在我有点坚持写一个爬虫，它只爬某些区域。我的目标是爬亚马逊，只从某个分类中获取文章。有人对此有什么想法吗？提前致谢。我感谢每一个帮助！

【问题讨论】：

【解决方案1】：

您应该检查 URL，如果它们有任何提示引用的项目被分配到哪个类别。

【讨论】：

【解决方案2】：

只是一个幼稚的想法。每个零售网站，如亚马逊，都有过滤选项。参数很可能是在 url 中使用 GET 传递的。您可以使用它来获得所需的结果。如果是 AJAX ，请遵循 AJAX 调用。

【讨论】：