使用 css 选择器使用 scrapy 抓取 Reactjs 页面上的嵌套标签答案

【问题标题】：Using css selectors to grab nested tag on Reactjs page using scrapy使用 css 选择器使用 scrapy 抓取 Reactjs 页面上的嵌套标签
【发布时间】：2018-04-19 05:59:31
【问题描述】：

我正在尝试使用 CSS 选择器获取突出显示的 href 值，但目前没有成功。

我正在使用scrapy shell 并尝试了这个：

response.css('body > span > section') 但它返回[]

我还尝试response.css('div') 看看它是否可以抓取任何div 标签，但它仍然返回[]

使用chrome的devtool抓取返回的css选择器

#react-root > section > main > article > div > div._cmdpi > div:nth-child(1) > div:nth-child(2) > a

我对 chrome 提供的 css 使用了 response.css()，但它也返回了 []

但是，当我尝试时：

response.css('body, span, section, main, article, div, div, div')

我收到了这个：

[<Selector xpath='descendant-or-self::body | descendant-or-self::span | descendant-or-self::section | descendant-or-self::main | descendant-or-self::article | descendant-or-self::div | descendant-or-self::div | descendant-or-self::div' data='<body class="">\n        \n    <span id="r'>, <Selector xpath='descendant-or-self::body | descendant-or-self::span | descendant-or-self::section | descendant-or-self::main | descendant-or-self::article | descendant-or-self::div | descendant-or-self::div | descendant-or-self::div' data='<span id="react-root"></span>'>]

我很困惑为什么某些 css 选择器有效而其他选择器不有效。比如div 和body, span, section, main, article, div, div, div

【问题讨论】：

可以用bs4吗？ select_one('a[href*=taken-by]')

标签： python html css css-selectors scrapy

【解决方案1】：

我认为原因是因为您在浏览器中看到的 html 代码可能是在客户端使用 javascript 生成的。我建议您检查使用 scrapy 收到的 html（如果需要，您可以将 response.body 保存在文件中）或在 shell 中检查它。 css 选择器中的, 类似于or 语句。该 href 所需的数据可能在 html 代码中的 json 中。

【讨论】：