【问题标题】:Is there any way to find the URL that you are currently scraping? [duplicate]有什么方法可以找到您当前正在抓取的 URL? [复制]
【发布时间】:2021-11-02 22:00:56
【问题描述】:

我目前正在尝试创建一个蜘蛛,它会抓取每个结果并从每个结果中获取一些信息。唯一的问题是我不知道如何找到我当前所在的 URL(我也需要检索它)。

有什么办法吗?

我知道如何使用 Selenium 和 Scrapy-Selenium 来做到这一点,但我只是在这个项目中使用了一个简单的 CrawlSpider。

【问题讨论】:

  • current_url = response.request.url
  • @UserOne 你能把它添加为答案,所以我可以接受吗?

标签: python scrapy


【解决方案1】:

你可以使用:

current_url = response.request.url

【讨论】:

    猜你喜欢
    • 2023-03-18
    • 2014-12-27
    • 1970-01-01
    • 2020-05-17
    • 2013-03-16
    • 1970-01-01
    • 2023-01-17
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多