无法通过 Jenkins 声明式管道在 Docker 映像中作为代理进行 pip 安装

Question

我还有一个问题，即通过 Jenkins 声明性管道运行 Docker 的权限问题。我想通过 Docker 容器中的 Jenkins 作业构建和发布 Python 包：

pipeline {

  agent {
    docker {
      image 'python:3.7'
      label 'docker && linux'
    }
  }

  environment {
    PACKAGE_VERSION = readFile 'VERSION'
  }

  stages {

    stage('Package') {
      steps {
        sh 'python -V'
        sh 'python -m pip install -r requirements.txt --user --no-cache'
        sh 'python setup.py sdist'
      }
    }

    stage('Deploy') {
      steps {
        ...
      }
    }

  }

  post {
    always {
      cleanWs()
    }
  }

}

但是，由于PermissionError，我不允许pip install：

+python -m pip install -r requirements.txt --user --no-cache 要求已经满足：setuptools in /usr/local/lib/python3.7/site-packages（来自 -r requirements.txt（行 1)) (40.0.0) 收集 pytest（来自 -r requirements.txt（第 2 行））
下载 https://files.pythonhosted.org/packages/9e/a1/8166a56ce9d89fdd9efcae5601e71758029d90e5644e0b7b6eda07e67c35/pytest-3.7.0-py2.py3-none-any.whl (202kB) 收集 py>=1.5.0 (来自 pytest->-r requirements.txt (行 2)) 下载 https://files.pythonhosted.org/packages/f3/bd/83369ff2dee18f22f27d16b78dd651e8939825af5f8b0b83c38729069962/py-1.5.4-py2.py3-none-any.whl (83kB) 收集更多-itertools>=4.0.0 (来自 pytest->-r requirements.txt（第 2 行））下载 https://files.pythonhosted.org/packages/79/b1/eace304ef66bd7d3d8b2f78cc374b73ca03bc53664d78151e9df3b3996cc/more_itertools-4.3.0-py3-none-any.whl (48kB) 收集pluggy>=0.7（来自pytest->-r requirements.txt（行 2)) 下载 https://files.pythonhosted.org/packages/f5/f1/5a93c118663896d83f7bcbfb7f657ce1d0c0d617e6b4a443a53abcc658ca/pluggy-0.7.1-py2.py3-none-any.whl 收集六>=1.10.0（来自pytest->-r requirements.txt（第2行））
下载 https://files.pythonhosted.org/packages/67/4b/141a581104b1f6397bfa78ac9d43d8ad29a7ca43ea90a2d863fe3056e86a/six-1.11.0-py2.py3-none-any.whl 收集 atomicwrites>=1.0（来自 pytest->-r requirements.txt（行 2)) 下载 https://files.pythonhosted.org/packages/0a/e8/cd6375e7a59664eeea9e1c77a766eeac0fc3083bb958c2b41ec46b95f29c/atomicwrites-1.1.5-py2.py3-none-any.whl 收集 attrs>=17.4.0（来自 pytest->-r requirements.txt（第 2 行））
下载 https://files.pythonhosted.org/packages/41/59/cedf87e91ed541be7957c501a92102f9cc6363c623a7666d69d51c78ac5b/attrs-18.1.0-py2.py3-none-any.whl 安装收集包：py、六、more-itertools、pluggy、 atomicwrites, attrs, pytest

由于 EnvironmentError 无法安装软件包：[Errno 13] Permission denied: '/.local' 检查权限。

如何修复这些权限？

Answer 1

我找到了我自己认为更漂亮的解决方案：

stage("Python Test") {
  agent { 
    docker {
      label "docker && linux" 
      image "python:3.7"
    }
  }
  steps {
    withEnv(["HOME=${env.WORKSPACE}"]) {
      sh "pip install -r requirements.txt --user"
      # python stuff
    }
  }
  post {
    cleanup {
      cleanWs()
    }
  }
}

此解决方法完全围绕问题本身，在用户级别安装软件包。这里的问题是 HOME 目录最初也不是可写的，因此会覆盖 HOME 目录。

Answer 2

在我的 Jenkins 系统上设置 Docker 代理后，我正在运行一个非常相似的管道，所以我认为我的设置是错误的。使用您线程中的 cmets，我制定了这个解决方案：

首先，您需要在容器中成为 root，因此将您的代理声明更改为类似于以下内容：

agent {
    docker {
        image "python:3.7"
        args '--user 0:0'
    }
}

现在我可以使用pip install！但是，该作业的后续运行将尝试运行 git clean 并失败，因为容器内的构建文件是由 root 创建的。为了解决这个问题，我在容器内运行了 clean 命令作为我的最后一步：

steps {
    sh 'git clean -fdx'
}

更新：

我发现了一个问题，即失败的构建不会清理并杀死它之后的所有构建。为了解决这个问题，我将 clean 操作设置为始终运行的 post-build task：

post {
    cleanup {
        cleanWs()
    }
}

Answer 3

withEnv(["HOME=${env.WORKSPACE}"]) {} 是关键。此外，它可以像这样使用：

node {
    def customImage = docker.build(...)
    customImage.inside {
        withEnv(["HOME=${env.WORKSPACE}"]) {
            sh '...'
        }
    }
}

Answer 4

你可以尝试用 sudo 执行它：

 stage('Package') {
      steps {
        sh '''
            python -V
            sudo python -m pip install -r requirements.txt --user --no-cache
            sudo python setup.py sdist
           '''
      }
    }

您可能会遇到问题，因为 Jenkins 无法以 sudo 运行命令，在这种情况下，我建议您按照 this article 或 this SO question 中提到的步骤操作