检查元素中的 Html 代码与 html 源代码不同

Question

我正在尝试抓取一个网站（使用 python）并获取其用户信息。但是当我下载页面的源代码时，它与我在 chrome 中的检查元素中看到的不同。我用谷歌搜索，似乎我应该使用 selenium，但我不知道如何使用它。这是我拥有的代码，当我看到 driver.page_source 时，它仍然是 chrome 中的源页面，并且看起来不像检查元素中的源。 如果有人能帮我解决这个问题，我真的很感激。

import os
from selenium import webdriver

chromedriver = "/Users/adam/Downloads/chromedriver"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = webdriver.Chrome(chromedriver)
driver.get("http://www.tudiabetes.org/forum/users/Bug74/activity")
driver.quit()

Answer 1

它叫XHR。
您的页面是从另一个调用加载的（您的 url 仅加载页面的结构，页面的内容来自使用 XHR、json 格式字符串的不同来源）而不是页面加载本身。

您真的应该考虑使用requests 和bs4 来查询this page。