如何将 python 库从主机共享到多个 docker 容器？

Question

我们设置了多个运行 python 微服务的 docker 容器。问题是许多库在容器中是多余的。由于 docker 隔离，所有的库都独立安装在每个容器中，这增加了 docker 镜像的大小。

那么，有没有一种方法可以通过将所有库安装在共享文件夹或任何其他解决方案中来跨多个容器共享 python 库，保持代码仍然隔离但允许使用共享库？

Dockerfile1：

FROM python:3.8.5-slim

RUN apt-get update && \ 
        apt-get install -y \
        git openssh-server 

# Avoid cache purge by adding requirements first
RUN git clone git@github.com:some_org/some_repo_1.git
WORKDIR ./some_repo_1/

RUN pip3 install --upgrade pip
RUN pip3 install -r requirements.txt

EXPOSE 80

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "80"]

Dockerfile2：

FROM python:3.8.5-slim

RUN apt-get update && \ 
        apt-get install -y \
        git openssh-server 

# Avoid cache purge by adding requirements first
RUN git clone git@github.com:some_org/some_repo_2.git
WORKDIR ./some_repo_2/

RUN pip3 install --upgrade pip
RUN pip3 install -r requirements.txt

EXPOSE 81

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "81"]

docker-compose.yml

version: "3.9"
services:
        service_1:
                build:
                        context: './some_repo_1/'
                ports:
                        - '80:80'

        service_2:
                build:
                        context: './some_repo_2/'
                ports:
                        - '81:81'

注意：我们必须部署许多不同的微服务 docker 容器，它们的依赖关系有些相似。所以 docker 镜像大小是一个主要问题。

PS：我正在使用 docker-compose 来运行多个 docker 容器。

Answer 1

假设您可以将您的需求拆分为一个“通用”集，以及一些额外的每个应用程序的依赖项。在非 Docker 环境中，您可能会运行：

python3 -m venv venv1
./venv1/bin/pip install ./requirements-common.txt
./venv1/bin/pip install ./some_repo_1/requirements.txt
./venv1/bin/uvicorn ...
# and similarly for venv2, some_repo_2

您可以构建自己的仅包含常用库的中间 Docker 映像：

FROM python:3.8.5-slim
WORKDIR /app
COPY requirements-common.txt .
RUN pip install -r requirements-common.txt

docker build -t my/app-base .

然后，当您构建每个应用程序的映像时，您可以将其作为基础映像并预先安装该库集。 Docker 分层的工作方式，底层库集将在各种派生镜像之间共享。

FROM my/app-base
# Inherits WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
EXPOSE 81
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "81"]

Compose 对此模式没有任何特定支持。如果中间映像仅包含一组很少更改的预安装库，则根据需要手动docker build 并按原样使用问题中的docker-compose.yml 可能是最简单的。