网页抓取时如何获取当前网址？ [复制]

【问题标题】：How to obtain the current url when while web-scraping? [duplicate]网页抓取时如何获取当前网址？ [复制]
【发布时间】：2018-09-15 00:44:18
【问题描述】：

我正在使用 scrapy 进行网页抓取，并且我想将数据存储到 csv 文件中。如何获取当前 url 以便我可以使用它来命名我的 csv 文件？使用 python 2.7.14，scrapy 1.5。 scrapy 是否提供任何此类功能？

【问题讨论】：

标签： python web-scraping scrapy

【解决方案1】：

您可以通过 "response.request.URL" 获取获取 URL。这里我在 scrapy shell 中获取 URL

    >>> fetch("http://www.bing.com/")
    2018-04-05 15:53:00 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bing.com/> (referer: None)
    >>> response
    <200 http://www.bing.com/>
    >>> response.request.url
    'http://www.bing.com/'
    >>>

【讨论】：

【解决方案2】：

这个

self.request.url

或者这个（如果你需要查询字符串）

self.request.query_string

【讨论】：