【发布时间】:2015-09-06 11:06:32
【问题描述】:
使用scrapy shell命令行
我尝试提取任何元素,但是当我将蜘蛛作为 python 代码运行并从蜘蛛中提取元素时,我总是得到空的,每件事都能找到
请查看此屏幕截图以从我的终端执行
【问题讨论】:
-
你试过了吗:
response.xpath(".//div")?
标签: python shell python-2.7 terminal scrapy
使用scrapy shell命令行
我尝试提取任何元素,但是当我将蜘蛛作为 python 代码运行并从蜘蛛中提取元素时,我总是得到空的,每件事都能找到
请查看此屏幕截图以从我的终端执行
【问题讨论】:
response.xpath(".//div")?
标签: python shell python-2.7 terminal scrapy
问题是您在前面添加了./,这使得 XPath 上下文特定于树的根节点。换句话说,./div 会使其搜索div 元素,它是html 的直接子元素。
改为使用.// 搜索 HTML 内的任何位置:
response.xpath(".//div")
【讨论】: