【发布时间】:2021-11-02 22:00:56
【问题描述】:
我目前正在尝试创建一个蜘蛛,它会抓取每个结果并从每个结果中获取一些信息。唯一的问题是我不知道如何找到我当前所在的 URL(我也需要检索它)。
有什么办法吗?
我知道如何使用 Selenium 和 Scrapy-Selenium 来做到这一点,但我只是在这个项目中使用了一个简单的 CrawlSpider。
【问题讨论】:
-
current_url = response.request.url
-
@UserOne 你能把它添加为答案,所以我可以接受吗?