Selenium 不会在带有 Python 的网页中显示 javascript 加载的表

Question

我正在尝试抓取以下网页：https://steamdb.info/app/730/graphs/ （我已经获得了网站的许可）

问题是“每月明细”表似乎是由 Javascript 加载的，而 BeautifulSoup 不起作用。使用 Selenium 打开网页时，显示“您必须启用 Javascript。”表，使用 Selenium 时应启用该表。这是我的代码：

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--enable-javascript")
browser = webdriver.Chrome(options=options)
browser.maximize_window()

url = "https://steamdb.info/app/730/graphs/"
browser.get(url)

有什么办法可以解决这个问题？

页面的外观：

它在 Selenium 上的外观：

Answer 1

试试这个，看看您是否不再收到该错误消息：

options.add_argument("javascript.enabled", True)

您可能还需要查看“等待”here 以确保网页上的异步操作有时间加载。

Answer 2

更新：

启用或禁用 javascript：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()

#value 1 enables it , if you set to 2 it disables it     
chrome_options.add_experimental_option( "prefs",{'profile.managed_default_content_settings.javascript': 1})

driver =webdriver.Chrome(r".\chromedriver.exe",options=chrome_options)


driver.get("https://www.google.com")

这不会解决您的问题

您可以通过在地址栏中输入以下内容来检查 javascript 是否已启用：

 chrome://settings/content/javascript?search=javascript

您可以看到，即使启用它，网站也无法正常加载。

似乎他们已启用安全性以避免在其网站中使用硒

上一个答案：

没有名为 --enable-javascript chromium 项目的命令行参数，请尝试使用上述 javascript-harmony 标志。

以下是支持的 chrome 标志的完整列表：

https://peter.sh/experiments/chromium-command-line-switches/#login-profile

如果需要更多帮助，请添加屏幕截图和其他信息