从多个 URL 中抓取链接答案

【问题标题】：Scraping links from more than one URL从多个 URL 中抓取链接
【发布时间】：2013-04-15 15:54:40
【问题描述】：

我正在使用 ScraperWiki 从 london-gazette.co.uk 站点中提取链接。我将如何编辑代码，以便我可以在底部粘贴多个单独的搜索 URL，这些 URL 都被整理到同一个数据存储中？

目前我可以粘贴新 URL，点击运行，新数据会添加到旧数据的后面，但我想知道是否有办法加快速度并让爬虫同时处理多个 URL？我将更改 URL 的“通知代码”部分：issues/2013-01-15;2013-01-15/all=NoticeCode%3a2441/start=1

抱歉 - Stack Overflow 的新手，我的编码知识几乎不存在，但代码在这里：https://scraperwiki.com/scrapers/links_1/edit/

【问题讨论】：

我的答案是您想要的还是您在寻找其他答案？
抱歉，不知何故关闭了电子邮件通知。谢谢，但是没有用。它适用于您的示例抓取工具，但是当我尝试对其进行调整以更改 URL 的通知代码部分时，我一无所获。
你能给出一个你想抓取的 URL 的示例列表吗？
当然，每个 URL 的开头都是 london-gazette.co.uk 然后我会查看因通知代码和日期而异的抓取 URL，例如：issues/2013-01-15;2013-01 -15/all=NoticeCode%3a2441/start=1/issues/2013-01-15;2013-01-15/all=NoticeCode%3a2453/start=1/issues/2013-01-15;2013-01-15 /all=NoticeCode%3a2462/start=1 /issues/2012-02-10;2013-02-20/all=NoticeCode%3a2441/start=1
这些 URL 与我回答中的代码配合得很好。

标签： python url scraperwiki

【解决方案1】：

您链接的刮板似乎是空的，但我查看了 Rebecca Ratcliffe 的原始刮板。如果你的也一样，你只需要把你的 URL 放到一个列表中，然后用 for 循环遍历它们：

urls = ['/issues/2013-01-15;2013-01-15/all=NoticeCode%3a2441/start=1', 
'/issues /2013-01-15;2013-01-15/all=NoticeCode%3a2453/start=1',
'/issues/2013-01-15;2013-01-15/all=NoticeCode%3a2462/start=1', 
'/issues/2012-02-10;2013-02-20/all=NoticeCode%3a2441/start=1']

base_url = 'http://www.london-gazette.co.uk'
for u in urls:
    starting_url = urlparse.urljoin(base_url, u)
    scrape_and_look_for_next_link(starting_url)

看看我复制并相应调整的this scraper。

【讨论】：