无头 Chrome 驱动程序不适用于 Selenium

Question

当我设置options.add_argument("--headless") 时，我的刮刀出现问题。但是，当它被删除时，它工作得很好。谁能建议我如何使用无头模式获得相同的结果？

下面是我的python代码：

from seleniumwire import webdriver as wireDriver
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.chrome.options import Options
    
chromedriverPath = '/Users/applepie/Desktop/chromedrivermac'

    def scraper(search):

    mit = "https://orbit-kb.mit.edu/hc/en-us/search?utf8=✓&query="  # Empty search on mit site
    mit += "+".join(search) + "&commit=Search"
    results = []

    options = Options()
    options.add_argument("--headless")
    options.add_argument("--window-size=1440, 900")
    driver = webdriver.Chrome(options=options, executable_path= chromedriverPath)

    driver.get(mit)
    # Wait 20 seconds for page to load
    timeout = 20
    try:
        WebDriverWait(driver, timeout).until(EC.visibility_of_element_located((By.CLASS_NAME, "header")))
        search_results = driver.find_element_by_class_name("search-results")
        for result in search_results.find_elements_by_class_name("search-result"):
            resultObject = {
                "url": result.find_element_by_class_name('search-result-link').get_attribute("href")
            }
            results.append(resultObject)
        driver.quit()
    except TimeoutException:
        print("Timed out waiting for page to load")
        driver.quit()

    return results

这里也是我print(driver.page_source)get()之后的截图：

Answer 1

这个截图...

...暗示Cloudflare 已将您对网站的请求检测为自动机器人，随后拒绝您访问该应用程序。

---

解决方案

在这些情况下，一个潜在的解决方案是在headless 模式下使用undetected-chromedriver 来初始化google-chrome-headless 浏览上下文。

undetected-chromedriver 是一个优化的 Selenium Chromedriver 补丁，它不会触发像 Distill Network / Imperva / DataDome / Botprotect.io 这样的反僵尸服务。它会自动下载驱动程序二进制文件并对其进行修补。

• 代码块：

  import undetected_chromedriver as uc
  from selenium import webdriver
  
  options = webdriver.ChromeOptions() 
  options.headless = True
  driver = uc.Chrome(options=options)
  driver.get(url)
  

---

参考文献

您可以在以下位置找到一些相关的详细讨论：

• Selenium app redirect to Cloudflare page when hosted on Heroku
• How to bypass being rate limited ..HTML Error 1015 using Python