Python Scrapy 抓取提供垃圾值

Question

我正在尝试在一个表中练习抓取该表属于 css 类“表”并且该表有很多 tr 并且每个 tr 有 3 个 td 第一个 td 用于名称第二个 td 用于地址第三个 td（如果存在）电话号码）我需要每个“tr”的姓名、地址和电话，但由于某种原因，如果将选择器设置为 'td :: text'（每个 tr 内所有 td 的文本）工作正常，但我需要姓名、地址和电话分别

所以我使用 xpath 并为名称的第一个 td 执行此操作，第二个 td 为地址，如果存在，则为电话号码的第三个 td

            NAME_SELECTOR = '//tr/td[1]/text()'
            ADDRESS_SELECTOR = '//tr/td[2]/text()'
            PHONE = '//tr/td[3]/text()'

            yield {
                'name': np.xpath(NAME_SELECTOR).extract_first(),
                'address': np.xpath(ADDRESS_SELECTOR).extract_first(),
                'phone': np.xpath(PHONE).extract_first(),
            }

但这会给出像这样的垃圾值

为什么会有这个垃圾值？它应该工作代码很简单网站也很简单（这就是我选择它进行练习的原因）

这是完整的代码

try:
    import scrapy
except ImportError:
    print "\nERROR IMPORTING THE NECESSARY LIBRARIES\n"

class NameSpider(scrapy.Spider):
    name = 'name spider'
    start_urls = ['http://www.locatefamily.com/Street-Lists/Australia/index-1.html']

    def parse(self, response):
        SET_SELECTOR = 'table.table tr'
        for np in response.css(SET_SELECTOR):

            NAME_SELECTOR = '//tr/td[1]/text()'
            ADDRESS_SELECTOR = '//tr/td[2]/text()'
            PHONE = '//tr/td[3]/text()'

            yield {
                'name': np.xpath(NAME_SELECTOR).extract_first(),
                'address': np.xpath(ADDRESS_SELECTOR).extract_first(),
                'phone': np.xpath(PHONE).extract_first(),
            }

Answer 1

XPath 开头的/ 总是引用根文档，这就是为什么无论np 变量现在引用什么，每次迭代都会得到相同的值。您需要添加 . 以明确说明您的意思是 XPath 与当前上下文元素相关：

for np in response.css(SET_SELECTOR):
    NAME_SELECTOR = './/tr/td[1]/text()'
    ADDRESS_SELECTOR = './/tr/td[2]/text()'
    PHONE = './/tr/td[3]/text()'

    yield {
        'name': np.xpath(NAME_SELECTOR).extract_first(),
        'address': np.xpath(ADDRESS_SELECTOR).extract_first(),
        'phone': np.xpath(PHONE).extract_first(),
    }