【发布时间】:2021-10-08 01:39:51
【问题描述】:
我正在为我的项目使用网络抓取,它在 Windows 系统上运行良好。在 ubuntu 上部署它在第一次运行我的脚本时运行良好,但之后的任何时候我都会收到错误
selenium.common.exceptions.WebDriverException: Message: unknown error: unable to discover open pages
通常在此发生之前,脚本在返回错误之前大约 1 分 30 秒没有输出。任何帮助将不胜感激!
我的代码:
import selenium
from bs4 import BeautifulSoup, NavigableString
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
for i in range(5):
URLS = []
URLS.append('https://website.com/')
for i in range(1):
options = webdriver.ChromeOptions()
options.add_argument("--no-sandbox")
options.add_argument("--headless")
options.add_argument("start-maximized")
options.add_argument("window-size=1900,1080")
options.add_argument("disable-gpu")
options.add_argument("--disable-software-rasterizer")
options.add_argument("--disable-dev-shm-usage")
options.add_argument('--remote-debugging-port=9222')
options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36')
driver = webdriver.Chrome(executable_path="./drivers/chromedriver", options=options)
driver.set_page_load_timeout(2)
for url in URLS:
try:
webdriver.get(url)
innerHTML = webdriver.page_source
soup = BeautifulSoup(innerHTML, "html.parser")
for i in soup.select("#ELEMENT"):
global ELEMENT
ELEMENT = i.text
print(ELEMENT)
webdriver.close()
webdriver.quit()
except:
pass
【问题讨论】:
-
不确定,但可能您使用的是过时版本的
ChromeDriver。 -
我正在使用最新的 chromedriver
-
这并没有提供问题的答案。要批评或要求作者澄清,请在他们的帖子下方留下评论。 - From Review
-
为什么会有这个循环
for i in range(1):?你也可以分享innerHTML = webdriver.page_source整个page_resource吗? -
for i in range 是暂时的,因为我将尝试添加,但稍后... innerHTML 只是来自网站的 html,它允许我选择一个元素。据我所知,我认为这两项都不会阻止代码运行
标签: python selenium selenium-webdriver webdriver selenium-chromedriver