气流与 BgQuery 错误的集成答案

【问题标题】：Airflow integration with BgQuery Error气流与 BgQuery 错误的集成
【发布时间】：2018-06-12 06:45:48
【问题描述】：

我已经安装了气流并且我已经编写了一个 DAG 来将 MySQL 数据与 BigQuery 集成。

当我运行 python 脚本时，出现以下错误：

ImportError: 无法导入名称 GbqConnector

我按照说明将 pandas 降级到旧版本。当我这样做时，我得到了一个不同的错误：

ImportError：无法导入名称 _test_google_api_imports

编辑：来自的建议 x97Core 工作。

我现在有一个不同的问题。我收到以下错误：

/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927：PendingDeprecationWarning：无效参数已传递给 MySqlToGoogleCloudStorageOperator。 Airflow 2.0 将不再支持传递此类参数。无效的参数是：

*args: ()

**kwargs: {'google_cloud_storage_connn_id': 'podioGCPConnection'} category=PendingDeprecationWarning

/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927：PendingDeprecationWarning：无效参数已传递给 GoogleCloudStorageToBigQueryOperator。 Airflow 2.0 将不再支持传递此类参数。无效的参数是：

*args: ()

**kwargs: {'project_id': 'podio-data'} category=PendingDeprecationWarning

根据此链接，问题在于气流与 python2 和 pythn3 的兼容性。我已经尝试在两者上运行代码，但仍然出现相同的错误。 Airflow mysql to gcp Dag error

有没有人知道有没有办法解决这个问题？

【问题讨论】：

标签： python pandas google-bigquery airflow apache-airflow

【解决方案1】：

刚刚遇到这个问题。

降级熊猫版本似乎有效（在 Airflow v1.8.0 上测试）：

pip install pandas==0.18.1

或者，如果您使用的是 Airflow 1.8.2 或更高版本。

pip install pandas-gbq

【讨论】：

感谢您的成功。我现在收到一个不同的错误，上面写着“Airflow 2.0 将放弃对传递此类参数的支持。无效的参数是：*args: () **kwargs: {'project_id': 'podio-data'} category=PendingDeprecationWarning” .显然，这与气流支持的 python 版本有关，但我尝试使用 puthon2 和 python3 运行我的代码，并且出现相同的错误。您是否偶然知道问题可能是什么？
@Tia 这个新问题与您遇到的问题无关。但是，您似乎正在将默认参数中的一些参数传递给 dag 或 subdag，这些参数很快就会被弃用。如果你能把你的 dag 文件的内容发给我，我去看看。
谢谢，我的dag内容在这里：stackoverflow.com/questions/48076288/…

【解决方案2】：

这可能有点复杂。我建议你阅读这两个很棒的链接

https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow

还有范博塞尔的媒介

https://medium.com/google-cloud/airflow-for-google-cloud-part-1-d7da9a048aa4

【讨论】：

谢谢。我正在使用 wepay 作为指导。