我有一个在 VM 中运行的气流 dag，但为了促进事件驱动的触发，我试图在 GCP 中设置云作曲家。但是，我只在 Cloud Composer 中看到了一个安装 pypi 包的选项。
我需要 rosbag 包来运行我的 bash 脚本，有没有办法在云作曲家中做到这一点？还是在 VM 或 Kubernetes 容器中运行 Airflow 更好？
【问题讨论】：
标签： airflow etl google-cloud-composer
您可以在 Cloud Composer 中添加自己的需求
https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies
但是非常了解rosbag（我作为机器人工程师使用 ROS 已经有一段时间了）——这可能不是很容易找出正确的依赖项。 Airflow 总共有超过 500 个依赖项，其中一些很可能会与特定版本的 ROS 发生冲突。
此外，ROS 有自己的特定方式来初始化和设置所有环境变量、获取某些脚本 - 您必须自己模拟、修改 PYTHONPATH 并可能进行一些初始化。
我想说你最好的选择是使用 DockerOperator 并使用 Docker 映像中的 ROS。如果需要，即使有 GPU 支持也可以做到这一点（已经在那里，做到了），它将提供适当的隔离级别 - Airflow 和 ROS 都大量使用 Python 和依赖项，这可能是最简单的方法。
【讨论】：