使用生成的 cookie 的 Python 请求/会话

Question

我正在尝试创建一个检查开放课程的机器人，该网页使用在访问该网站时设置的 cookie。但是我似乎无法通过我的代码使用请求/会话来复制它。

它应该做什么：

1. 访问link 1（创建cookie）（搜索页面）
2. 访问link 2，其中包括 URL 中的搜索词（搜索结果）
3. 在浏览器中完成后，链接 2 应显示搜索结果

问题：

• 我可以创建cookie访问链接1
• 但不能与包含搜索词的链接 2 一起使用
• 这会导致加载相同的第一个链接（搜索页面）

这是我尝试过的一些示例代码：

s = requests.Session()
# create the cookie using first link
r = s.get(url)

# r2 should be search results
r2 = s.post(urlWithSearchTerms, cookies=r.cookies)

# parse html etc, however loads wrong page
data = r2.text
soup = BeautifulSoup(data,"html.parser")
print(soup.prettify())

它仍然加载第一页，而不是加载搜索结果。

我还尝试了包含 r.headers、使用 session.post(url)、使用无会话等。

如何让 python 加载第二页？

谢谢！

Answer 1

您正在发送一个 HTTP POST 请求，您应该发送一个 GET。

改变这一行：

r2 = s.post(urlWithSearchTerms, cookies=r.cookies)

到：

r2 = s.get(urlWithSearchTerms, cookies=r.cookies)