Python请求授权[关闭]

Question

出于税收目的，我需要提取网站的一些信息，但遗憾的是，“导出”功能无法提供我需要的所有信息。该信息确实存在于网站上，作为 250 多个网页中的每一个中的一个字段。我可以单击每一个并将它们全部保存并使用脚本处理它们，但我宁愿学习一些东西。

request 包自称是天赐之物，尽管我并不喜欢它。问题是我必须登录我的网站。 request 的文档包括 this link on authentication，记录了各种形式的身份验证，但没有包含有关如何判断我的网站实际使用哪种形式的身份验证的信息。我假设当我登录网站时在我的计算机上放置了某种 cookie，理论上，我可以在我的硬盘驱动器上找到它并将其与我的请求一起发送，但我几乎没有使用 cookie 的经验和/或授权，但不知道要发送什么。

如果我可以向同一个站点上的一系列 url 发出一批请求，并且只下载 html，我就可以处理它并生成报告。

在您的回复中，如果有任何关于 http 身份验证和 cookie 如何协同工作的一般知识的链接，我也很乐意阅读。

非常感谢您提供的任何帮助。

Answer 1

尝试以下方法：

我正在使用BasicAuth，因为它是最常见的身份验证形式；您可以通过查看documentation

将其更改为任何其他形式

使用以下作为“基本代码”，您可以创建要访问的urls 的list 或dict 并循环访问它们。上面的代码也可以让你免去“定位到硬盘上的cookies并加载它们”的麻烦。

编辑：查看 OP 的 cmets 后：

import requests

login_url = "https://www.wyzant.com/sso/login"    # this is the login for's action url, extracted it from the source code

payload = {
    "Username" : "<username>",
    "Password" : "<password>"
}
with requests.Session() as s:
    r = s.post(login_url, data=payload)
    cookies = r.cookies
    r = s.get(url, cookies=cookies)    # do whatever

我已经尝试了上面的确切代码，运行良好，并且能够登录和访问学生仪表板。

干杯。