如何将 Splash 与 python 请求一起使用？

Question

我想在requests 中使用splash，类似这样的

requests.post(myUrl,headers=myHeaders, data=payload, meta={
                                        'splash': {
                                            'endpoint': 'render.html',
                                            'args': {'wait': 1}
                                            }
                                        })

但我有这个错误

TypeError: request() got an unexpected keyword argument 'meta'

我知道这可以与 scrapy.Request 一起使用，但我想与 requests

一起使用

Answer 1

meta 是 Scrapy Request 特有的，python-requests' request 没有 meta 参数，因此出现 TypeError 异常。

要将 Splash 与 python-requests 一起使用，请阅读 HTTP API docs, especially on render.html，因为这似乎是您想要使用的内容。

您需要向 /render.html 端点发送 GET 请求，并将目标 URL 和 wait 参数作为查询参数传递，例如像这样：

import requests
requests.get('http://localhost:8050/render.html',
             params={'url': 'http://www.example.com', 'wait': 2})

如果您希望 Splash 向目标网站发出 POST 请求，请使用 http_method 和 body 参数：

import requests
requests.get('http://localhost:8050/render.html',
              params={'url': 'http://httpbin.org/post',
                      'http_method': 'POST',
                      'body': 'a=b',
                      'wait': 2})

/render.html 还有allows POST-ed requests to the endpoint:

Splash 是通过 HTTP API 控制的。对于以下所有端点，参数可以作为 GET 参数发送或编码为 JSON 并使用 Content-Type: application/json 标头发送。

但默认方法仍然是 GET。要对目标网站进行 POST，您仍然需要包含 http_method 参数：

import requests

requests.post('http://localhost:8050/render.html',
              json={'url': 'http://httpbin.org/post',
                    'http_method': 'POST',
                    'body': 'a=b',
                    'wait': 2})