使用损坏的调度程序在 MWAA 中列出包

Question

所以，我目前正在通过 MWAA 安装 Airflow。我遇到了这个依赖关系损坏的问题，特别是：

错误：pip 的依赖解析器当前不考虑所有已安装的包。此行为是以下依赖冲突的根源。

apache-airflow-providers-amazon 1.4.0 需要瞭望塔~=0.7.3，但您有瞭望塔 2.0.1，不兼容。

我想获取当前已安装软件包的列表以进行一些调试，但损坏的安装似乎也破坏了调度程序。此外，工作人员日志表明它只是不断尝试安装 requirements.txt 中列出的内容，但未能成功。

除了删除依赖项损坏的包之外，除了创建 DAG 之外，还有什么方法可以列出当前安装的包？我知道 DAG 应该不难写，只是因为调度器忙，它永远不会被执行

这是当前的 requirements.txt：

--trusted-host <A private repository>
--index-url <A private repository>
gnupg
snowflake-connector-python
snowflake-sqlalchemy
apache-airflow-providers-snowflake

编辑：我尝试从我们的内部存储库中添加“apache-airflow-providers-amazon”并得到了一些奇怪的结果。日志中没有报告任何错误，除了连接到标准 pypi repo 失败（但是，此错误也发生在 requirements.txt 的工作版本中）。但是，调度程序似乎仍然被破坏。

Answer 1

我发现了这个问题。 apache-airflow-providers-snowflake 的版本与 Airflow 2.0.2 不兼容。我升级到了气流 2.2.2，它在很大程度上解决了这个问题。