【问题标题】:scrapy shell is not showing me any elementscrapy shell 没有显示任何元素
【发布时间】:2015-09-06 11:06:32
【问题描述】:

我正在抓取这个页面: https://dubai.dubizzle.com/property-for-rent/residential/apartmentflat/2015/8/5/huge-4-br-on-a-high-floor-now-available-2/?related_ads=1&back=ZHViYWkuZHViaXp6bGUuY29tL3Byb3BlcnR5LWZvci1yZW50L3Jlc2lkZW50aWFsL2FwYXJ0bWVudGZsYXQv

使用scrapy shell命令行

我尝试提取任何元素,但是当我将蜘蛛作为 python 代码运行并从蜘蛛中提取元素时,我总是得到空的,每件事都能找到

请查看此屏幕截图以从我的终端执行

【问题讨论】:

  • 你试过了吗:response.xpath(".//div")

标签: python shell python-2.7 terminal scrapy


【解决方案1】:

问题是您在前面添加了./,这使得 XPath 上下文特定于树的根节点。换句话说,./div 会使其搜索div 元素,它是html 的直接子元素。

改为使用.// 搜索 HTML 内的任何位置:

response.xpath(".//div")

【讨论】:

  • 我犯的严重错误。我不敢相信我忘记了这个 :X :X 谢谢人。你是蟒蛇黄金。我即将提出一个关于记录我的 python 最终项目的问题。你能帮忙吗
  • @MarcoDinatsoli 好的,创建一个问题并在这里给我一个链接。谢谢。
  • 谢谢你,这是我的问题stackoverflow.com/questions/32435622/…提前谢谢
猜你喜欢
  • 2022-11-15
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-12-17
  • 2020-07-31
相关资源
最近更新 更多