使用 JavaScript 更新的 Scrapy 和内容答案

【问题标题】：Scrapy and content updated with JavaScript使用 JavaScript 更新的 Scrapy 和内容
【发布时间】：2015-03-07 04:23:23
【问题描述】：

我想抓取（标题、日期、时间）本地音乐场所网站：http://www.bluebirdtheater.net/events

我使用了scrapy，并且成功地抓取了网站上的内容。但是有一个加载更多按钮。我见过其他解决方案，其中加载更多按钮在呈现的 html 中返回 POST 响应，可以被抓取。

通过浏览器检查器，我看到该站点调用了一个 get 方法：http://www.bluebirdtheater.net/events/events_ajax/40

我使用 scrapy 调用 url 进行爬网，但响应对于 scrapy 来说是不可读的（JavaScript？未渲染的 DOM？谁能告诉我它是什么？我很好奇。）我还能使用仅使用 scrapy 的方法吗？

我见过人们使用 Selenium 物理单击更多按钮并加载所有数据，然后将其抓取。

【问题讨论】：

【解决方案1】：

我很抱歉这样做，但这里有一个快速修复，它将替换所有空格、新行和反斜杠。

print s.replace('\n', '').replace('\t', '').replace('\\','')

【讨论】：