Scrapy Xpath 我应该如何处理表中标签之间的缺失数据？

Question

您好，我正在使用 python 的 scrapy 从网站上抓取表格，所以我必须使用 scrapy 的 Selector xpath 来执行此操作。我正在考虑获取表格的所有数据内容，然后将其与表格标题一起压缩 (zip())，以便在我的最终数据中，表格的每个数据内容都与代表它的标签匹配。但是，我注意到表格的某些部分没有值.. 而不是

<td>24</td>

只是

<td></td> 

当我抓取时，scrapy 会跳过空标签并获取下一个值。这搞砸了我要压缩东西的方式，因为由于缺少值，所有内容都可能向左移动一个或多个。所以..有没有办法让scrapy的Selector xpath返回某种缺少的空标识符，这样我就可以解释丢失的信息？或者也许有更好的方法来解决我的问题，从而防止这个问题发生？谢谢！

编辑： xpath 看起来像...

Selector(response).xpath("tbody/tr/td/text()").extract()

Answer 1

这个呢？

values = [''.join(td.xpath('.//text()').extract()) for td in Selector(response).xpath('//tbody/tr/td')]

解释：

''.join 和 extract() 结果

对于<td>123</td> 情况：xpath('//td/text()').extract() 返回 [u'123']

对于<td></td> 情况：xpath('//td/text()').extract() 返回 []

''.join([u'123']) ==> u'123'

''.join([]) ==> u'' //空字符串

选择器链

selector.xpath('//td/text()') 等于 selector.xpath('//td').xpath('.//text()')

选择器循环

values = []
for td in s1.xpath('//td'):
    # td is a selector with single element
    # so that it will not return a list with multiple values ['value1', 'value2']
    # selector.xpath('.//text()') just two cases: 
    # 1) []  <td><td>
    # 2) [u'values']  <td>values<td>
    value = ''.join(td.xpath('.//text()').extract()) 
    # returns '' or 'values'
    values.append(value)

这是我的测试代码

s1= Selector(text='<div><span></span><span>232</span><span>haha<span><span></span></div>')

values = [''.join(text.xpath('.//text()').extract()) for text in s1.xpath('//span')]
\# values: ['', u'232', u'haha', '', '']