Apache Airflow - BigQuery 运算符问题答案

【问题标题】：Apache Airflow - BigQuery Operator IssueApache Airflow - BigQuery 运算符问题
【发布时间】：2020-11-08 22:25:06
【问题描述】：

我正在使用以下库：

airflow.contrib.operators.bigquery_operator

在 Airflow UI 上，它会引发以下错误：

破碎的 DAG：[/home/vagrant/airflow/dags/data/gcp_bq_dag.py] （设置工具 28.8.0 （/home/vagrant/.sandbox/lib/python3.5/site-packages）， Requirement.parse('setuptools>=34.0.0'), {'google-api-core'})

我已经安装了setuptools 库，我拥有的版本是49.2.0。

Name: setuptools
Version: 49.2.0
Summary: Easily download, build, install, upgrade, and uninstall Python packages
Home-page: https://github.com/pypa/setuptools
Author: Python Packaging Authority
Author-email: distutils-sig@python.org
License: UNKNOWN
Location: /home/vagrant/.sandbox/lib/python3.5/site-packages
Requires: 
Required-by: zope.deprecation, python-daemon, protobuf, kiwisolver, jsonschema, ipython, google-auth, google-api-core

你能建议那里出了什么问题吗？

【问题讨论】：

您是在本地还是在 Cloud Composer 中使用 Airflow？
我在本地使用 Airflow

标签： python google-bigquery airflow

【解决方案1】：

好的，它在气流 UI 上显示的错误似乎是一个重复：

损坏的 DAG：[/home/vagrant/airflow/dags/data/gcp_bq_dag.py] (setuptools 28.8.0 (/home/vagrant/.sandbox/lib/python3.5/site-packages), Requirement.parse ('setuptools>=34.0.0'), {'google-api-core'})

实际的问题是它缺少 pandas_gbq 包。这已记录在网络服务器日志中。我已经安装了 pandas_gbq，它解决了这个问题。

【讨论】：

【解决方案2】：

这看起来像是您的机器和各种执行环境的设置问题。与熟悉您情况的技术人员进行更深入的了解是值得的。

仅基于阅读错误。这可能是错误的。但是，本质上，这两种不同的上下文正在发现已安装包的不同版本。这在 Python 和项目中经常发生。 Airflow知道的python版本只能找到setuptools28.0.0。这不符合 DAG 的要求。

编辑

您可能想尝试针对用户 pip install --user setuptools 安装软件包

【讨论】：