获取 xpath() 返回空值

Question

我有很多<b>标签的情况：

<b>12</b>
<b>13</b>
<b>14</b>
<b></b>
<b>121</b>

如您所见，倒数第二个标签是空的。当我打电话时：

sel.xpath('b/text()').extract()

这给了我：

['12', '13', '14', '121']

我想要：

['12', '13', '14', '', '121']

有没有办法获取空值？

---

我目前的工作是调用：

sel.xpath('b').extract()

然后自己解析每个html标签（空标签在这里，就是我想要的）。

Answer 1

这是可以手动剥离标签并获取文本的地方。可以使用w3lib提供的remove_tags()函数：

>>> from w3lib.html import remove_tags
>>> map(remove_tags, sel.xpath('//b').extract())
[u'12', u'13', u'14', u'', u'121']

请注意，w3lib 是 Scrapy dependency 并在内部使用。无需单独安装。

另外，这里最好使用Scrapy Input and Output Processors。继续使用sel.xpath('b') 并定义一个输入处理器。例如，您可以为 Item 类的特定 Fields 定义它：

from scrapy.contrib.loader.processor import MapCompose
from scrapy.item import Item, Field
from w3lib.html import remove_tags

class MyItem(Item):
    my_field = Field(input_processor=MapCompose(remove_tags))