为什么这个 xpath 表达式不起作用？

Question

Scrapy 是一个网络爬虫，我创建了一个蜘蛛。 我希望蜘蛛用 2 个链接的主体创建 2 个 html 文件。 创建的html文件是空的。

    import scrapy
    from scrapy.selector import Selector
    from scrapy.http import HtmlResponse

    class DmozSpider(scrapy.Spider):
        name = "dmoz"
        allowed_domains = ["dmoz.org"]
        start_urls = [
       "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
       "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]

        def parse(self, response):
            x=response.xpath("//body/text()").extract()
            filename = response.url.split("/")[-2] + '.html'
            with open(filename, 'wb') as f:
                f.write(x)

Answer 1

请重新访问Scrapy tutorial 并仔细检查；您的示例基本上是dmoz_spider.py 的逐字副本。

首先，请注意xpath() 返回一个选择器列表。在选择器列表上调用 extract() 会为您提供 unicode 字符串列表，您无法按原样将其写入文件。您需要加入字符串并对结果进行编码（例如使用 UTF-8）。

with open(filename, 'wb') as f:
    f.write(u"".join(x).encode("UTF-8"))

至于为什么它现在不起作用：您使用 XPath 表达式来选择 body 元素的所有文本节点。由于文本节点仅包含空格字符，因此创建的文件似乎是空的。

response.xpath("//body/text()").extract() 的结果是[u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n ', u'\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ', u'\r\n\r\n ']，因此您的文件应该包含一些空白字符。

要选择正文元素下方的所有节点，请使用response.xpath("//body/node())。

例如选择所有具有hero 类的div 元素，使用response.xpath("//div[@class = 'hero']")。

也许您应该先阅读一些有关 XPath 的基本教程。在这里边做边学是行不通的，你真的需要先搞清楚基础知识。