Web Scraping：用于分页的 XPath答案

【问题标题】：Web Scraping: XPath for PaginationWeb Scraping：用于分页的 XPath
【发布时间】：2020-11-10 19:10:55
【问题描述】：

我正在尝试使用 Octoparse 抓取一些公司网站。我似乎无法让我的 XPath 适合分页。网站页面没有“下一步”按钮。我正在尝试从每个页面中抓取数据。有什么建议吗？

我尝试了以下 XPath（以及其他一些失败）：

//*[@id="main"]/div[2]/section/div[1]/nav/ul/li[1]/a/following-sibling::li[1]/a

这是我正在测试的公司website 的示例。

【问题讨论】：

【解决方案1】：

您需要当前页面的下一个页面。这对following-sibling 来说很不方便

//li[./a[@class="current"]]/following-sibling::li[1]

你可以阅读这个here

【讨论】：

【解决方案2】：

在我修改 Redyukov Pavel 的解决方案时回答我自己的问题：

//a[@class='current']/../following-sibling::li[1]/a[1]

【讨论】：