【发布时间】:2019-11-12 05:00:01
【问题描述】:
我正在开发一个抓取脚本来收集一些位于 authwall 后面的数据,我在 ublock 中有一个自定义过滤器,它可以让我通过 authwall 但是当我使用 Selenium 用 ublock 加载 chromium 时,它没有过滤器。如果有帮助,我正在使用 Linux。
我尝试让它在获取信息之前暂停,以便我检查过滤器是否到位,但它是空白的。
这是部分代码
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_option_settings = Options()
chrome_option_settings.add_argument('--window-size=1920x1080')
extension_path = r'/home/user/.config/chromium/Default/Extensions/cjpalhdlnbpafiamejdnhcphjbkeiagm/1.20.0_0'
chrome_option_settings.add_argument('load-extension='+extension_path)
chrome_driver = "/usr/bin/chromedriver"
driver = webdriver.Chrome(chrome_options=chrome_option_settings, executable_path=chrome_driver)
driver.get(url)
我也尝试过加载 Chrome 配置文件,但都没有帮助。
chrome_options.add_argument("user-data-dir=/home/user/.config/chromium/Default")
或
chrome_options.add_argument("--profile-directory=/home/user/.config/chromium/Default")
任何帮助将不胜感激
【问题讨论】:
-
有类似的问题你能解决吗:)?
标签: python selenium selenium-webdriver google-chrome-extension