GCP Composer Airflow - 无法使用 PyPi 安装软件包答案

【问题标题】：GCP Composer Airflow - unable to install packages using PyPiGCP Composer Airflow - 无法使用 PyPi 安装软件包
【发布时间】：2022-06-18 02:49:54
【问题描述】：

我已经创建了一个带有镜像版本的 Composer 环境 -> composer-2.0.13-airflow-2.2.5

当我尝试使用 PyPi 安装软件时，它失败了。详情如下：

Command :
gcloud composer environments update $AIRFLOW     --location us-east1      --update-pypi-packages-from-file requirements.txt


requirement.txt
---------------
google-api-core
google-auth
google-auth-oauthlib
google-cloud-bigquery
google-cloud-core
google-cloud-storage
google-crc32c
google-resumable-media
googleapis-common-protos
google-endpoints
joblib
json5
jsonschema
pandas
requests
requests-oauthlib


Error :
Karans-MacBook-Pro:composer_dags karanalang$ gcloud composer environments update $AIRFLOW     --location us-east1      --update-pypi-packages-from-file requirements.txt
Waiting for [projects/versa-sml-googl/locations/us-east1/environments/versa-composer3] to be updated with [projects/versa-sml-googl/locations/us-east1/operations/c23b77a9-f46b-4222-bafd-62527bf27239]..
.failed.                                                                                                                                                                                                 
ERROR: (gcloud.composer.environments.update) Error updating [projects/versa-sml-googl/locations/us-east1/environments/versa-composer3]: Operation [projects/versa-sml-googl/locations/us-east1/operations/c23b77a9-f46b-4222-bafd-62527bf27239] failed: Failed to install PyPI packages. looker-sdk 22.4.0 has requirement attrs>=20.1.0; python_version >= "3.7", but you have attrs 17.4.0.
 Check the Cloud Build log at https://console.cloud.google.com/cloud-build/builds/60ac972a-8f5e-4b4f-a4a7-d81049fb19a3?project=939354532596 for details. For detailed instructions see https://cloud.google.com/composer/docs/troubleshooting-package-installation

请注意：我有一个较旧的 Composer 集群（Composer 版本 - 1.16.8，Airflow 版本 - 1.10.15），上面的命令可以正常工作。但是，它不适用于新集群

需要做些什么来调试/修复这个问题？

蒂亚！

【问题讨论】：

requirements.txt 文件必须使用更新版本的 attrs 库进行更新，如错误消息所述。请在文件中将要求更改为attrs>=20.1.0。

标签： google-cloud-platform airflow google-cloud-composer

【解决方案1】：

从错误中，很明显你正在运行旧版本的 attrs 包。

运行以下命令并尝试

pip install attrs==20.3.0

或

pip install attrs==20.1.0

【讨论】：

【解决方案2】：

我可以使用以下代码来完成这项工作：

path = "gs://dataproc-spark-configs/pip_install.sh"

CLUSTER_GENERATOR_CONFIG = ClusterGenerator(
    project_id=PROJECT_ID,
    zone="us-east1-b",
    master_machine_type="n1-standard-4",
    worker_machine_type="n1-standard-4",
    num_workers=4,
    storage_bucket="dataproc-spark-logs",
    init_actions_uris=[path],
    metadata={'PIP_PACKAGES': 'pyyaml requests pandas openpyxl kafka-python'},
).make()


with models.DAG(
    'Versa-Alarm-Insights-UsingComposer2',
        # Continue to run DAG twice per day
        default_args=default_dag_args,
        schedule_interval='0 0/12 * * *',
        catchup=False,
        ) as dag: 

        create_dataproc_cluster = DataprocCreateClusterOperator(
          task_id="create_dataproc_cluster",  
          cluster_name="versa-composer2",
          region=REGION,
          cluster_config=CLUSTER_GENERATOR_CONFIG
     )

之前涉及通过读取文件来安装软件包的命令在 Composer1 (Airflow 1.x) 中运行，但在 Composer 2.x (Airflow 2.x) 中失败

【讨论】：