【问题标题】:How to extract a list of URLs from specific domain?如何从特定域中提取 URL 列表?
【发布时间】:2017-07-08 16:09:12
【问题描述】:

我使用的是 Firefox 53,并且拥有 Scrapbook X,并希望使用保存多个 URL 功能保存大量页面,但在此之前,我想提取特定的 URL 列表,而无需手动执行此操作.

我正在查看从中提取数据的网站是 www.address-data.co.uk - 即 this page

我想要做的是仅提取该页面中的 URL 和子页面,但不提取隐私政策或联系我们页面以及带有 EH 邮政编码的所有子页面。

有没有办法在线执行此操作,或者在我将所有相关 URL 复制到 Scrapbook 的 Save Multiple URLs(我将它们保存在 Scrapbook 的子文件夹中)之前可以找到所有相关 URL 的 Mac OS X 工具?

【问题讨论】:

    标签: firefox web-scraping extract extraction


    【解决方案1】:

    我认为EH45 是您想要从您提到的页面中提取的典型内容。像它的兄弟姐妹一样,它的形式是https://address-data.co.uk/postcode-district-EH<postcode number>

    这意味着如果您有数字或邮政编码列表,您可以制作完整的网址列表。

    我回答的主要困难是我不知道您可以使用哪些工具(尤其是编程工具)。我只假设您拥有或可以获得对可以执行宏或可以编辑列的编辑器的访问权限。在 Windows 上,我会使用 Emerald(现在称为 Crimson)。

    然后复制 EH 页面中表格的内容(不是表格标题)并删除除第一列之外的所有内容。最后,在列中的每一项前面加上“https://address-data.co.uk/postcode-district-”。

    PS:这对于 SuperUser 来说也是一个很好的问题。

    【讨论】:

      猜你喜欢
      • 2010-10-24
      • 2013-09-17
      • 1970-01-01
      • 1970-01-01
      • 2015-12-31
      • 2020-11-10
      • 1970-01-01
      • 2013-12-06
      • 2020-03-20
      相关资源
      最近更新 更多