使用 crontab (python) 运行 selenium

Question

我有一个 python 脚本，它通过 selenium 调用 chrome，下一行。

 ff = webdriver.Chrome('/home/user01/webScraping/CollectAndGo/chromedriver')

python 脚本是从 shell 脚本调用的。

python /home/user01/webScraping/CollectAndGo/cgcom.py > /home/user01/webScraping/CollectAndGo/cgcom.log 2>&1

当我从终端运行脚本或仅执行 .sh 文件时，它运行良好，但是当我安排 crontab 作业时，它会失败并出现下一个错误。

   raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: u'unknown error: Chrome failed to start: exited abnormally\n  (Driver info: chromedriver=2.9.248304,platform=Linux 3.5.0-36-generic x86_64)' 

错误与本题第一行代码有关。有人知道为什么会这样吗？

Answer 1

使用pyvirtualdisplay and Xvfb 为您管理窗口会话（最初来自this answer）

背景：

就我而言，接受的答案不起作用。

解决方案：

1. 安装 PyVirtualDisplay 和 Xvfb

pip3 install pyvirtualdisplay
sudo apt-get install xvfb

1. 在.py 脚本中分配窗口处理程序

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from pyvirtualdisplay import Display
import time

# Display creates a virtual frame buffer and manages it for you
with Display(visible=False, size=(1200, 1500)):
    driver = webdriver.Firefox()
    driver.get("https://website-target.com")

    time.sleep(1)

    print(driver.current_url) # check connection

    time.sleep(1)

    print(driver.current_url)

    driver.close()

Answer 2

在 MacOS Catalina 上，只有这个命令对我有用

* * * * * export DISPLAY=:0 && export PATH=$PATH:/usr/local/bin && /usr/bin/python3 ~/Documents/Scripts/my_script.py

Answer 3

尝试从cron 启动浏览器最明显的问题是，即使您的机器上运行了X，也没有为从crontab 运行的进程设置DISPLAY 环境变量，因此启动浏览器从那里将失败。

解决方案范围从琐碎到超级复杂。一个简单的解决方案是接受如果没有 X 运行，您的脚本将不会运行，并手动将 DISPLAY 设置为 :0，这是 Ubuntu 启动的默认 X 服务器的默认显示编号。

例如，如果我将此命令放在 crontab 行的 command 列中，Chrome 将毫无问题地启动：

DISPLAY=:0 google-chrome

用户特定的 crontab 文件中的完整行类似于：

0 * * * *  DISPLAY=:0 google-chrome

如果您想运行通过 selenium 启动 chrome 的 python 脚本，则该行将如下所示：

0 * * * *  DISPLAY=:0 python my_script.py

命令字符串按原样发送到 shell，因此在最后一个示例中，字符串 DISPLAY=:0 python my_script.py 将直接传递给 shell。将命令开始时立即给出的变量赋值解释为设置环境变量是常见的 shell 语法。 （dash 和 bash 肯定是这种情况，其中一个很可能是大多数安装中的默认 shell。）因此 shell 解释的命令将环境变量 DISPLAY 设置为值 :0然后运行python my_script.py。因为python 从启动它的shell 继承了它的环境，所以变量DISPLAY 也是:0。

设置DISPLAY=:0 就像我在上面显示的那样为后面的命令设置变量only。对于 crontab 执行的所有命令，也可以将 DISPLAY 设置为 :0。例如在以下用户特定的 crontab 中：

DISPLAY=:0

30 * * * *  google-chrome
0  * * * *  python my_script.py

DISPLAY=:0 行设置了环境变量DISPLAY 用于执行google-chrome 和python my_script.py

Answer 4

selenium 网络驱动程序需要 X 会话来运行脚本。 Cron 脚本通常在没有 X 会话的情况下运行。在您的 cron 脚本中添加 X 会话。如下所示： * 11 * * * 导出显示=：0；你的脚本.py

Answer 5

Crontab 可能以无权访问 chromedriver 目录/文件的用户身份运行。

查看answers here，了解如何以特定用户身份运行 crontab。