【问题标题】:How to set path to chromedriver in Google Cloud Composer如何在 Google Cloud Composer 中设置 chromedriver 的路径
【发布时间】:2019-11-06 15:28:00
【问题描述】:

我正在尝试运行一个 DAG,它将每周使用 selenium 在 Cloud Composer 上抓取网页。

我已经尝试在创建 WebDriver.Chrome() 实例时将路径提供给我上传到 GCS 的驱动程序,尽管我认为这不是最好的方法。

Airflow 出现此错误

Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

如果您对更新 Cloud Composer 的 PATH 变量有任何提示,我们将不胜感激。如果我需要提供更多信息,请发表评论,我会补充。

【问题讨论】:

    标签: python-3.x selenium path selenium-chromedriver google-cloud-composer


    【解决方案1】:

    因此没有官方答案,Composer 和 GKE 的 Slack 频道都无法提供帮助。真正的问题是二进制文件不在 Composer 上。现在最好的答案是手动 ssh 到你所有的 GKE 气流工作者并自己安装谷歌浏览器:https://linuxize.com/post/how-to-install-google-chrome-web-browser-on-ubuntu-18-04/

    然后将适用于您安装的正确版本 Chrome 的 chromedriver 放置在 dags/dependencies 文件夹中,并在实例化 Webdriver 对象时引用它。希望这会有所帮助!

    【讨论】:

      猜你喜欢
      • 2018-07-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-08-09
      • 1970-01-01
      • 2014-02-16
      相关资源
      最近更新 更多