scrapy 可以用来从使用 AJAX 的网站上抓取动态内容吗？

Question

我最近一直在学习 Python，并且正在着手构建一个网络爬虫。这一点都不花哨。它的唯一目的是从博彩网站获取数据并将这些数据输入 Excel。

大多数问题都是可以解决的，而且我遇到了一些麻烦。但是，我在一个问题上遇到了巨大的障碍。如果一个网站载入一张马匹表并列出当前投注价格，则此信息不在任何源文件中。线索是这些数据有时是实时的，数字显然是从某个远程服务器更新的。我 PC 上的 HTML 只是有一个漏洞，他们的服务器在其中推送我需要的所有有趣数据。

现在我对动态 Web 内容的经验很低，所以这件事让我难以理解。

我认为 Java 或 Javascript 是一个关键，这个经常弹出。

刮板只是一个赔率比较引擎。有些网站有 API，但对于那些没有的网站，我需要它。我正在使用带有 Python 2.7 的 scrapy 库

如果这个问题过于开放，我深表歉意。简而言之，我的问题是：如何使用 scrapy 来抓取这个动态数据，以便我可以使用它？这样我就可以实时抓取这个投注赔率数据？

Answer 1

这是带有 AJAX 请求的 scrapy 的简单示例。让我们看看网站rubin-kazan.ru。

所有消息都使用 AJAX 请求加载。我的目标是获取这些消息及其所有属性（作者、日期……）：

当我分析页面的源代码时，我看不到所有这些消息，因为该网页使用了 AJAX 技术。但我可以使用 Mozilla Firefox 的 Firebug（或其他浏览器中的等效工具）来分析在网页上生成消息的 HTTP 请求：

它不会重新加载整个页面，而只会重新加载包含消息的页面部分。为此，我单击底部的任意数量的页面：

我观察到负责消息正文的 HTTP 请求：

完成后，我分析请求的标头（我必须引用我将从 var 部分的源页面中提取的这个 URL，请参见下面的代码）：

以及请求的表单数据内容（HTTP方法为“Post”）：

以及响应的内容，这是一个 JSON 文件：

它提供了我正在寻找的所有信息。

从现在开始，我必须在scrapy中实现所有这些知识。让我们为此目的定义蜘蛛：

class spider(BaseSpider):
    name = 'RubiGuesst'
    start_urls = ['http://www.rubin-kazan.ru/guestbook.html']

    def parse(self, response):
        url_list_gb_messages = re.search(r'url_list_gb_messages="(.*)"', response.body).group(1)
        yield FormRequest('http://www.rubin-kazan.ru' + url_list_gb_messages, callback=self.RubiGuessItem,
                          formdata={'page': str(page + 1), 'uid': ''})

    def RubiGuessItem(self, response):
        json_file = response.body

在parse 函数中，我有第一个请求的响应。 在RubiGuessItem 我有包含所有信息的 JSON 文件。

Answer 2

基于 Webkit 的浏览器（如 Google Chrome 或 Safari）具有内置的开发人员工具。在 Chrome 中，您可以打开它Menu->Tools->Developer Tools。 Network 选项卡允许您查看有关每个请求和响应的所有信息：

在图片的底部，您可以看到我已将请求过滤到 XHR - 这些是由 javascript 代码发出的请求。

提示：每次加载页面都会清除日志，在图片底部，黑点按钮会保存日志。

在分析请求和响应后，您可以从您的网络爬虫模拟这些请求并提取有价值的数据。在许多情况下，获取数据比解析 HTML 更容易，因为该数据不包含表示逻辑并且被格式化为可以被 javascript 代码访问。

Firefox 也有类似的扩展名，叫做firebug。有些人会争辩说 firebug 更强大，但我喜欢 webkit 的简单性。

Answer 3

很多时候，我们在抓取时遇到问题，页面上呈现的内容是用 Javascript 生成的，因此 scrapy 无法抓取它（例如 ajax 请求、jQuery 疯狂）。

但是，如果您将 Scrapy 与 Web 测试框架 Selenium 一起使用，那么我们就能够抓取在普通 Web 浏览器中显示的任何内容。

需要注意的一些事项：

• 您必须安装 Python 版本的 Selenium RC 才能正常工作，并且您必须正确设置 Selenium。这也只是一个模板爬虫。你可能会变得更疯狂、更先进，但我只是想展示基本的想法。按照现在的代码，您将对任何给定的 url 执行两个请求。一个请求是由 Scrapy 发出的，另一个是由 Selenium 发出的。我相信有办法解决这个问题，这样你就可以让 Selenium 做一个也是唯一一个请求，但我没有费心去实现它，通过做两个请求，你也可以用 Scrapy 抓取页面。

• 这非常强大，因为现在您可以抓取整个渲染的 DOM，并且您仍然可以使用 Scrapy 中所有不错的抓取功能。这当然会使爬行速度变慢，但取决于您需要多少渲染的 DOM，等待可能是值得的。

  from scrapy.contrib.spiders import CrawlSpider, Rule
  from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
  from scrapy.selector import HtmlXPathSelector
  from scrapy.http import Request
  
  from selenium import selenium
  
  class SeleniumSpider(CrawlSpider):
      name = "SeleniumSpider"
      start_urls = ["http://www.domain.com"]
  
      rules = (
          Rule(SgmlLinkExtractor(allow=('.html', )), callback='parse_page',follow=True),
      )
  
      def __init__(self):
          CrawlSpider.__init__(self)
          self.verificationErrors = []
          self.selenium = selenium("localhost", 4444, "*chrome", "http://www.domain.com")
          self.selenium.start()
  
      def __del__(self):
          self.selenium.stop()
          print self.verificationErrors
          CrawlSpider.__del__(self)
  
      def parse_page(self, response):
          item = Item()
  
          hxs = HtmlXPathSelector(response)
          #Do some XPath selection with Scrapy
          hxs.select('//div').extract()
  
          sel = self.selenium
          sel.open(response.url)
  
          #Wait for javscript to load in Selenium
          time.sleep(2.5)
  
          #Do some crawling of javascript created content with Selenium
          sel.get_text("//div")
          yield item
  
  # Snippet imported from snippets.scrapy.org (which no longer works)
  # author: wynbennett
  # date  : Jun 21, 2011
  

参考：http://snipplr.com/view/66998/

Answer 4

另一种解决方案是实现下载处理程序或下载处理程序中间件。 （有关下载器中间件的更多信息，请参阅scrapy docs）以下是一个使用 selenium 和 headless phantomjs webdriver 的示例类：

1)在middlewares.py 脚本中定义类。

from selenium import webdriver
from scrapy.http import HtmlResponse

class JsDownload(object):

    @check_spider_middleware
    def process_request(self, request, spider):
        driver = webdriver.PhantomJS(executable_path='D:phantomjs.exe')
        driver.get(request.url)
        return HtmlResponse(request.url, encoding='utf-8', body=driver.page_source.encode('utf-8'))

2)将JsDownload() 类添加到settings.py 内的变量DOWNLOADER_MIDDLEWARE：

DOWNLOADER_MIDDLEWARES = {'MyProj.middleware.MiddleWareModule.MiddleWareClass': 500}

3)将HTMLResponse 集成到your_spider.py 中。解码响应正文将为您提供所需的输出。

class Spider(CrawlSpider):
    # define unique name of spider
    name = "spider"

    start_urls = ["https://www.url.de"] 

    def parse(self, response):
        # initialize items
        item = CrawlerItem()

        # store data as items
        item["js_enabled"] = response.body.decode("utf-8") 

可选插件：
我希望能够告诉不同的蜘蛛使用哪个中间件，所以我实现了这个包装器：

def check_spider_middleware(method):
@functools.wraps(method)
def wrapper(self, request, spider):
    msg = '%%s %s middleware step' % (self.__class__.__name__,)
    if self.__class__ in spider.middleware:
        spider.log(msg % 'executing', level=log.DEBUG)
        return method(self, request, spider)
    else:
        spider.log(msg % 'skipping', level=log.DEBUG)
        return None

return wrapper

为了使包装器工作，所有蜘蛛必须至少具有：

middleware = set([])

包括一个中间件：

middleware = set([MyProj.middleware.ModuleName.ClassName])

优势：
以这种方式而不是在蜘蛛中实现它的主要优点是您最终只发出一个请求。以 A T 的解决方案为例：下载处理程序处理请求，然后将响应交给蜘蛛。然后蜘蛛在它的 parse_page 函数中发出一个全新的请求——这是对相同内容的两个请求。

Answer 5

我正在使用自定义下载器中间件，但对它不是很满意，因为我没有设法使缓存与它一起工作。

更好的方法是实现自定义下载处理程序。

有一个工作示例here。它看起来像这样：

# encoding: utf-8
from __future__ import unicode_literals

from scrapy import signals
from scrapy.signalmanager import SignalManager
from scrapy.responsetypes import responsetypes
from scrapy.xlib.pydispatch import dispatcher
from selenium import webdriver
from six.moves import queue
from twisted.internet import defer, threads
from twisted.python.failure import Failure


class PhantomJSDownloadHandler(object):

    def __init__(self, settings):
        self.options = settings.get('PHANTOMJS_OPTIONS', {})

        max_run = settings.get('PHANTOMJS_MAXRUN', 10)
        self.sem = defer.DeferredSemaphore(max_run)
        self.queue = queue.LifoQueue(max_run)

        SignalManager(dispatcher.Any).connect(self._close, signal=signals.spider_closed)

    def download_request(self, request, spider):
        """use semaphore to guard a phantomjs pool"""
        return self.sem.run(self._wait_request, request, spider)

    def _wait_request(self, request, spider):
        try:
            driver = self.queue.get_nowait()
        except queue.Empty:
            driver = webdriver.PhantomJS(**self.options)

        driver.get(request.url)
        # ghostdriver won't response when switch window until page is loaded
        dfd = threads.deferToThread(lambda: driver.switch_to.window(driver.current_window_handle))
        dfd.addCallback(self._response, driver, spider)
        return dfd

    def _response(self, _, driver, spider):
        body = driver.execute_script("return document.documentElement.innerHTML")
        if body.startswith("<head></head>"):  # cannot access response header in Selenium
            body = driver.execute_script("return document.documentElement.textContent")
        url = driver.current_url
        respcls = responsetypes.from_args(url=url, body=body[:100].encode('utf8'))
        resp = respcls(url=url, body=body, encoding="utf-8")

        response_failed = getattr(spider, "response_failed", None)
        if response_failed and callable(response_failed) and response_failed(resp, driver):
            driver.close()
            return defer.fail(Failure())
        else:
            self.queue.put(driver)
            return defer.succeed(resp)

    def _close(self):
        while not self.queue.empty():
            driver = self.queue.get_nowait()
            driver.close()

假设你的刮板叫做“刮板”。如果您将上述代码放在“scraper”文件夹根目录下名为 handlers.py 的文件中，则可以添加到您的 settings.py 中：

DOWNLOAD_HANDLERS = {
    'http': 'scraper.handlers.PhantomJSDownloadHandler',
    'https': 'scraper.handlers.PhantomJSDownloadHandler',
}

瞧，JS 解析的 DOM，带有scrapy 缓存、重试等。

Answer 6

如何使用scrapy来抓取这些动态数据，以便我可以使用 它？

我想知道为什么没有人只使用 Scrapy 发布解决方案。

查看 Scrapy 团队 SCRAPING INFINITE SCROLLING PAGES 的博客文章。该示例废弃了使用无限滚动的http://spidyquotes.herokuapp.com/scroll 网站。

这个想法是使用浏览器的开发者工具并注意 AJAX 请求，然后根据该信息创建对 Scrapy 的请求.

import json
import scrapy


class SpidyQuotesSpider(scrapy.Spider):
    name = 'spidyquotes'
    quotes_base_url = 'http://spidyquotes.herokuapp.com/api/quotes?page=%s'
    start_urls = [quotes_base_url % 1]
    download_delay = 1.5

    def parse(self, response):
        data = json.loads(response.body)
        for item in data.get('quotes', []):
            yield {
                'text': item.get('text'),
                'author': item.get('author', {}).get('name'),
                'tags': item.get('tags'),
            }
        if data['has_next']:
            next_page = data['page'] + 1
            yield scrapy.Request(self.quotes_base_url % next_page)

Answer 7

从 API 的外部 url 生成的数据调用 HTML 响应作为 POST 方法。

import scrapy
from scrapy.crawler import CrawlerProcess

class TestSpider(scrapy.Spider):
    name = 'test'  
    def start_requests(self):
        url = 'https://howlongtobeat.com/search_results?page=1'
        payload = "queryString=&t=games&sorthead=popular&sortd=0&plat=&length_type=main&length_min=&length_max=&v=&f=&g=&detail=&randomize=0"
        headers = {
            "content-type":"application/x-www-form-urlencoded",
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36"
        }

        yield scrapy.Request(url,method='POST', body=payload,headers=headers,callback=self.parse)

    def parse(self, response):
        cards = response.css('div[class="search_list_details"]')

        for card in cards: 
            game_name = card.css('a[class=text_white]::attr(title)').get()
            yield {
                "game_name":game_name
            }
           

if __name__ == "__main__":
    process =CrawlerProcess()
    process.crawl(TestSpider)
    process.start()

Answer 8

是的，Scrapy 可以抓取动态网站，通过 JavaScript 渲染的网站。

有两种方法可以抓取这类网站。

第一的，

您可以使用splash 呈现Javascript 代码，然后解析呈现的HTML。 你可以在这里找到文档和项目Scrapy splash, git

第二，

正如大家所说，通过监控network calls，是的，您可以找到获取数据的api调用，并在您的scrapy spider中模拟该调用可能会帮助您获得所需的数据。

Answer 9

我使用 Selenium 和 Firefox Web 驱动程序处理 ajax 请求。如果您需要爬虫作为守护进程，它并没有那么快，但比任何手动解决方案都要好得多。我写了一个简短的教程here供参考