从scrapy中的隐藏div中抓取/提取数据

【问题标题】：Scrape / extract data from hidden divs in scrapy从scrapy中的隐藏div中抓取/提取数据
【发布时间】：2017-10-19 17:41:27
【问题描述】：

您好，我正在尝试抓取有输入文本的网站。每当我单击输入文本时，都会出现有关输入文本值的下拉建议。它不在选择标签上。

这些建议的价值在 div 标签元素内。它有近 200 个 div/建议。

我所做的是使用 xpath / css 选择器使用 scrapy 从它中抓取。当我使用“查看页面源”而不是“检查元素”查看代码时，我发现这 200 个 div 实际上是隐藏的。

请帮忙。谢谢

【问题讨论】：

【解决方案1】：

这些元素是由某个下拉库动态生成的，因此您必须调查网站源代码和/或它发出的 HTTP 请求。您要查找的所有数据都应该存在（很可能是 JSON 格式），而不是 HTML 本身。

例如，如果您使用的是 Chrome：

【讨论】：