Scrapy-splash 不能抓取任何元素

Question

我尝试抓取这个site

命令 fetch('site') 返回我 crawled(200)。

但是当我尝试获取任何 css 选择器时，它会返回一个空列表。

我意识到这个页面是用 JavaScript 生成的，ant 尝试使用 Splash。

fetch('http://localhost:8050/render.html?url=site') 也返回 200，但 response.css 什么都不返回。

为什么飞溅不起作用？有什么可以帮到我？

将不胜感激！

Answer 1

即使从普通的网络浏览器访问，该站点也会返回 403 access denied。因此，splash 将返回与普通浏览器相同的内容，而 response.css 不会产生任何结果。