无法使用请求从表中刮取名称

Question

我正在尝试从在网页中选择某些选项时填充的表格中抓取名称。这是在该站点中生成表的options。但是，当我尝试使用下面的脚本执行相同操作时，我总是得到状态 500。我使用 selenium 获得了成功，所以我没有寻求任何基于 selenium 的解决方案。

webpage address

到目前为止我已经写了：

import requests
from bs4 import BeautifulSoup

link = 'https://rederef-saude.appspot.com/proximidade/prestador/buscar?'

params = {
    'canal': '1',
    'latitude': '-23.5505199',
    'longitude': '-46.63330939999999',
    'categoria': '1',
    'produto': '557',
    'plano': '18051',
    'nome': '',
    'qualificacoes': '',
    'prefixoEmpresa': '',
    'empresa': '',
    'especialidade': '',
    'procedimento': '',
    'tipoPesquisaProcedimento': '1',
    'raio': '200000'
}

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36',
    'referer': 'https://rederef-saude.appspot.com/rederef/buscaPrestadores?login=publico&canal=1&data=23/04/2021&hora=00:16:55&tipoProduto=M&produto=557&plano=18051',
    'x-requested-with': 'XMLHttpRequest',
    'content-type': 'application/json;charset=utf-8',
    'accept': '*/*',
    'captcha-token': ''
}
with requests.Session() as s:
    s.headers = headers
    res = s.get(link,params=params)
    print(res.status_code)

如何使用请求从该表中抓取名称？

Answer 1

当检查请求时，它确实有 recaptcha 保护，只是它处于一种不可见模式，只有在需要时才会显示，这甚至需要来自第一次调用的 cookie，否则它会给出无效会话错误，因此对于 recaptcha 自动化解决方案（付费但相当便宜）他们的各种提供商，例如：2Captcha、Anti-Captcha、CapMonster 等 我已经使用了 2Captcha，你可以按照下面的代码。 参考2Captcha Library

import requests
from twocaptcha import TwoCaptcha

solver = TwoCaptcha('Twocaptcha API KEY')
result = solver.recaptcha(sitekey='6LdOzkUaAAAAANV9z7gQOokV2kNWI8WI_eSH80vC',
                          url='https://rederef-saude.appspot.com', invisible=1)["code"]
params = {
    'login': 'publico',
    'canal': 1,
    'data': '23/04/2021',
    'hora': '04:10:41',
    'tipoProduto': 'M',
    'produto': 557,
    'plano': 18051
}
cookies = requests.get(
    'https://rederef-saude.appspot.com/rederef/buscaPrestadores', params=params).cookies

headers = {
    'captcha-token': result,
}
params = {
    'canal': '1',
    'latitude': '-23.5505199',
    'longitude': '-46.63330939999999',
    'categoria': '1',
    'produto': '557',
    'plano': '18051',
    'nome': '',
    'qualificacoes': '',
    'prefixoEmpresa': '',
    'empresa': '',
    'especialidade': '',
    'procedimento': '',
    'tipoPesquisaProcedimento': '1',
    'raio': '200000'
}
response = requests.get('https://rederef-saude.appspot.com/proximidade/prestador/buscar', headers=headers,
                        params=params, cookies=cookies)

print(response.json())

不要忘记更新上述代码中的Twocaptcha API KEY。 您可以使用任何您觉得可以的提供商。 输出将在 json 中，因此无需使用 BeautifulSoup 输出：

如果您有任何问题，请告诉我:)