【问题标题】:Pip install a private repo from Gitlab with Personal Access Token on Gitlab-CIPip 在 Gitlab-CI 上使用个人访问令牌从 Gitlab 安装私有仓库
【发布时间】:2021-01-23 17:17:42
【问题描述】:

我正在使用 Gitlab 托管两个私有 Python 包。一个,比如包 B,依赖于另一个,比如 A。

我想正确设置包 B,所以我有一个 setup.py

install_requires=[
    'packagea @ git+https://gitlab.com/me/packagea.git',
    ...
]

以及一个包含

的requirements.txt
git+https://gitlab.com/me/packagea.git@v1.0.1

当用户使用pip install git+https://gitlab.com/me/packageb.git 安装包B 时,或者当用户克隆包B 然后运行pip install -r requirements.txt 时,这很有效。

但是,我想在包 B 上设置持续集成。我的 gitlab-ci.yml 看起来像

image: python:3.7
before_script:
  - pip install -r requirements.txt

pylint:
  script:
    - pylint **/*.py

这会失败,因为 Gitlab-CI 运行器没有任何用户名/密码来验证和拉取包 A 存储库。我读过我可以为 CI 运行器生成一个个人访问令牌以进行身份​​验证,但这意味着 setup.py 和 requirements.txt 包含令牌。这对我来说似乎很难看(我希望其他用户仍然使用他们自己的用户名/密码)。

我怎样才能做到这一点?

【问题讨论】:

    标签: git pip gitlab-ci


    【解决方案1】:

    如果有人像我一样在试图解决这个管道问题时迷路了,那么帮助我的解决方案是this Gitlab issue and the discussion below。

    总结一下:

    在.gitlab-ci.yml 中,将这些行添加到您的before_script 部分:

    before_script
      - ...
      - echo "machine gitlab.com" > ~/.netrc
      - echo "login gitlab-ci-token" >> ~/.netrc
      - echo "password ${CI_JOB_TOKEN}" >> ~/.netrc
      - if [ -f "requirements.txt" ]; then pip install -r requirements.txt ; fi
    

    在您的 requirements.txt 文件中,使用名称、url 和 egg 指定私有依赖项(egg 必须是 包裹名字)。例如

    thispackageisonpip>=1.2.3
    soisthisone==1.0.0
    ...
    privatepackage @ git+https://gitlab.com/user/repository.git@tag#egg=privatepackage
    

    标签在哪里,例如'v1.3.3'(注意必须有标记版本才能签出)。

    现在应该可以通过管道成功签出私有包。在install_requires 的setup.py 中指定要求的情况下,我无法使其工作,但至少这是可行的。

    【讨论】:

    • 感谢您的技巧!抛出你提到的讨论,目前尚不清楚这实际上是实现的一个特性还是副作用......但与此同时,这非常整洁!谢谢!
    【解决方案2】:

    由于包 A 是一个私有存储库,因此您需要在任何情况下访问它的权限。

    您可以考虑使用GitLab Deploy Keys。这样,任何拥有部署密钥的用户(包括 ci)都可以读取或写入存储库(取决于您授予密钥的访问权限)。这会将密钥与存储库相关联,而不是与您的用户帐户相关联。

    请务必注意,此部署密钥提供对私有存储库的访问权限,因此它是一个秘密,应被视为秘密。

    Secrets management 是一个复杂的主观主题,解决方案会因许多因素而有很大差异,包括您需要项目的安全性、易用性和团队规模。避免以明文形式存储密码的常用方法是使用custom environment variables。如果您正在寻找有关如何以这种方式设置项目的建议,this post 可能是一个不错的起点。

    【讨论】:

    • 谢谢@Lisa!我仍然无法理解如何将此部署密钥与我的 CI 一起使用。我知道您可以通过将 URL 更改为包 A 来使用它,但这意味着在 setup.py 和 requirements.txt 中硬编码密钥。
    • 我已经用更多关于秘密管理的资源更新了我的解决方案
    • 非常感谢 Lisa 的详细回答。这是一个合法的解决方法,但它肯定需要在 gitlab-ci.yaml 脚本中手动安装每个依赖项(使用正确的令牌)。这意味着在多个位置维护依赖项列表,更不用说为每个依赖项创建和定义令牌?。
    猜你喜欢
    • 2021-11-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-02-22
    • 1970-01-01
    • 1970-01-01
    • 2018-07-15
    相关资源
    最近更新 更多