如何使用 Scrapy 提取 CSS 样式

【问题标题】：How to extract CSS styles using Scrapy如何使用 Scrapy 提取 CSS 样式
【发布时间】：2015-08-10 12:51:42
【问题描述】：

我正在使用 scrapy 和 selenium webdrivers 进行网络抓取。但是我发现 selenium webdriver 非常慢，但我发现提取 webelement 的 CSS 属性更容易，例如。

webElement.value_of_css_property('font-size')

如何只使用scrapy而不使用selenium webdriver来实现这一点。

【问题讨论】：

【解决方案1】：

为此，您必须在真实浏览器中呈现内容。 Scrapy 下载器不是浏览器，只有初始 HTML 页面，没有内置 javascript 引擎，无法下载额外的 CSS 或 JS 文件。

Scrapy 只能获取元素的style 属性值，但仅此而已。 selenium 是工作的工具。

请注意，您可以避免将真实显示作为依赖项，并在 virtual display 中自动化 phantomjs 无头浏览器或其他浏览器。

【讨论】：