Google Cloud Composer - 部署 Docker 映像答案

【问题标题】：Google Cloud Composer - Deploying Docker ImageGoogle Cloud Composer - 部署 Docker 映像
【发布时间】：2018-11-12 04:51:54
【问题描述】：

肯定遗漏了什么，需要一些快速帮助！

简单地说，如何将 Docker 映像部署到 Airflow DAG 以运行作业？有没有人有一个部署 Google 容器并通过 Airflow/Composer 运行它的简单示例？

【问题讨论】：

【解决方案1】：

您可以使用核心 Airflow 存储库中包含的 Docker Operator。

如果从私有注册表中提取图像，您需要使用相关凭据设置连接配置并将其传递给 docker_conn_id 参数。

【讨论】：

非常感谢！关于超越这个问题的任何建议？不幸的是，我不得不为最新的 github 推送设置一个自定义插件（请参阅：github.com/apache/incubator-airflow/commit/…）基本上，采用了最新的 docker 操作符并将其创建为自定义插件。这是谷歌作曲家特定的，在某种程度上，但我收到以下错误：bind address needs a port: {0}".format(addr)你认为我需要做上述设置docker_conn_id吗？如何使用作曲家进行设置？提前致谢！！！
即使我回滚打包绑定端口时仍然出现错误，我一定又错过了一些东西，因为我不清楚如何为 Composer 生成此信息，查看钩子代码：`extra_options = conn.extra_dejson self.__base_url = base_url self.__version = version self.__tls = tls self.__registry = conn.host self.__username = conn.login self.__password = conn.password self.__email = extra_options. get('email') self.__reauth = False if extra_options.get('reauth') == 'no' else True`
抱歉，我没有太多使用 Google Composer 的经验。如果这没有得到解决并且对您来说是一个障碍，我可能会建议您启动自己的 Airflow 或使用托管服务。 github.com/jghoman/…
是的，我认为你是对的。呃，为此付出了这么多努力，而且如此接近。