将 Java 与 Airflow 和 Docker 结合使用

Question

我有一个用例，我想通过 Airflow 运行一个 jar 文件，所有这些都必须存在于 Mac 上的 Docker 容器中。

我尝试单独安装 java，也尝试将我的 JAVA_HOME(host) 安装到容器上。

这是我的 docker-compose.yaml：

airflow:
    image: 'puckel/docker-airflow:1.10.9'
    hostname: airflow
    container_name: airflow
    volumes:
      - ${PWD}/airflow/dags:/usr/local/airflow/dags
      - ${JAVA_HOME}:/usr/local/bin/java //FWD MOUNTING JAVA_HOME

这样，我在 /usr/local/bin/ 中获得了一个带有数据的 java 目录，但 java -version 返回 Permission denied。 将其更改为 ${JAVA_HOME}/bin/java:/usr/local/bin/java 将返回 exec format error。

处理这个用例的正确方法是什么？

Answer 1

我认为您收到 Permission denied 是因为您正在使用用户 airflow 运行 docker。

您可以尝试以root 运行它吗？ （这是有风险的！不要在生产中使用 - 这只是一种临时解决方法）。避免使用root用户！

airflow:
    image: 'puckel/docker-airflow:1.10.9'
    hostname: airflow
    container_name: airflow
    user: root
    volumes:
      - ${PWD}/airflow/dags:/usr/local/airflow/dags
      - ${JAVA_HOME}:/usr/local/bin/java

编辑： 考虑安装一个单独的 Java，而不是安装本地 Java：

airflow:
    build:
      context: .
      dockerfile: Dockerfile
    hostname: airflow
    container_name: airflow
    volumes:
      - ${PWD}/airflow/dags:/usr/local/airflow/dags

并在同一目录中添加Dockerfile：

FROM puckel/docker-airflow:1.10.9
USER root
RUN mkdir -p /usr/share/man/man1
RUN apt-get update && apt-get install -y default-jdk && apt-get clean
USER airflow