在 AWS Lambda 上运行 Selenium 的问题

Question

我目前正在尝试实现一个抓取工具，它会每天检查两次是否某些 PDF 更改名称。不幸的是，它需要网站操作才能找到 pdf，所以我认为最好的解决方案是 Selenium 和 AWS Lambda 的组合。

一开始我关注的是this 教程。我已经完成了教程，但在 Lambda 中遇到了这个错误：

START RequestId: 18637c6d-ea75-40ee-8789-374654700b99 Version: $LATEST
Starting google.com
Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home
: WebDriverException
Traceback (most recent call last):
  File "/var/task/lambda_function.py", line 46, in lambda_handler
    driver = webdriver.Chrome(chrome_options=chrome_options)
  File "/var/task/selenium/webdriver/chrome/webdriver.py", line 68, in __init__
    self.service.start()
  File "/var/task/selenium/webdriver/common/service.py", line 83, in start
    os.path.basename(self.path), self.start_error_message)
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

这个错误是别人遇到的，作者通过链接this堆栈溢出页面“解决”。我已经尝试过它，但所有答案都与在桌面上使用无头铬而不是 AWS lambda 有关。

我尝试了一些更改无济于事。

1) 将 chromedriver 和 headless-chromium 更改为 .exe 文件
2) 更改这行代码以包含 executable_path

driver = webdriver.Chrome(chrome_options=chrome_options, executable_path=os.getcwd() + "/bin/chromedriver.exe")

如果能帮助 selenium 和 aws lambda 一起工作，我们将不胜感激。

Answer 1

我也遇到了同样的问题，但我现在已经解决了。就我而言，这是 lambda 和 My Dockerfile 上的 python 版本不同。

Answer 2

我遇到了同样的问题，这是由于二进制文件位于无法执行它们的位置。添加一个功能来移动它们，然后从该位置读取它们修复它。请参阅下面的示例，该示例是我在研究此错误时才开始工作的。 （为混乱的代码道歉。）

import time
import os
from selenium import webdriver
from fake_useragent import UserAgent

import subprocess
import shutil
import time

BIN_DIR = "/tmp/bin"
CURR_BIN_DIR = os.getcwd() + "/bin"

def _init_bin(executable_name):
    start = time.clock()
    if not os.path.exists(BIN_DIR):
        print("Creating bin folder")
        os.makedirs(BIN_DIR)
    print("Copying binaries for " + executable_name + " in /tmp/bin")
    currfile = os.path.join(CURR_BIN_DIR, executable_name)
    newfile = os.path.join(BIN_DIR, executable_name)
    shutil.copy2(currfile, newfile)
    print("Giving new binaries permissions for lambda")
    os.chmod(newfile, 0o775)
    elapsed = time.clock() - start
    print(executable_name + " ready in " + str(elapsed) + "s.")

def handler(event, context):

    _init_bin("headless-chromium")
    _init_bin("chromedriver")

    chrome_options = webdriver.ChromeOptions()

    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--window-size=1280x1696')
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--hide-scrollbars')
    chrome_options.add_argument('--enable-logging')
    chrome_options.add_argument('--log-level=0')
    chrome_options.add_argument('--v=99')
    chrome_options.add_argument('--single-process')
    chrome_options.add_argument('--ignore-certificate-errors')

    chrome_options.binary_location = "/tmp/bin/headless-chromium"
    driver = webdriver.Chrome("/tmp/bin/chromedriver", chrome_options=chrome_options)
    driver.get('https://en.wikipedia.org/wiki/Special:Random')
    line = driver.find_element_by_class_name('firstHeading').text
    print(line)
    driver.quit()

    return line