【问题标题】:Python scraping splash javascript clickPython抓取飞溅javascript点击
【发布时间】:2016-09-18 14:45:47
【问题描述】:

我正在尝试使用 Splash 来渲染带有 javascript 内容的网页。我正在使用 lxml 来解析结果。 我需要展开隐藏菜单。我找到了单击元素的方法,但我不知道如何单击 xpath 搜索的每个结果。

在我的 xpath 过滤器下方。

//div[包含(@class,'clickable_area')]

所以,我需要对这个 xpath 表达式执行“查找所有”搜索,并为每个表达式单击对象以显示隐藏信息。

如果有人可以帮助我...

谢谢

【问题讨论】:

  • 如果可能,请提供您正在抓取的实际目标页面的网址和您当前的代码(尽可能多)。
  • 以本站angel.co/markets为例,如何拓展所有市场(信息技术、消费者、企业...)。我需要找到它们中的每一个,然后单击它们以扩展市场。

标签: javascript python xpath splash-screen


【解决方案1】:

这里我将解释如何获取所有子菜单。

https://angel.co/new_tags/list_children?tag_id=data-tag_id 例如。 https://angel.co/new_tags/list_children?tag_id=9217 它将返回“所有市场”的所有子菜单

然后你就可以收集所有的“data-tag_id”并一一传递给URL。

如果没有 data-tag_id 则返回错误。

【讨论】:

  • 感谢您的解决方案,但我对“通用解决方案”最感兴趣,它可以通过 xpath 模式执行多重搜索并对每个结果执行操作。但是对于这个网站,您的解决方案非常有效。
猜你喜欢
  • 1970-01-01
  • 2019-11-23
  • 1970-01-01
  • 2017-09-26
  • 1970-01-01
  • 1970-01-01
  • 2018-05-30
  • 2018-09-08
  • 1970-01-01
相关资源
最近更新 更多