Apache Beam Pypi 包永久下载

Question

我正在使用在 requirements.txt 文件中定义的 3 个 Pypi 包在数据流上运行 apache 光束管道。当我使用选项“--requirements_file=requirements.txt”运行管道时，它会提交以下命令以下载 Pypi 包。

python -m pip download --dest /tmp/requirements-cache -r requirements.txt --exists-action i --no-binary :all:

此命令需要大量时间来下载软件包。我也试过手动运行它，它永远运行。

为什么apache beam 使用--no-binary :all: 选项，这是长时间持续的根本原因。我是在做错什么还是有什么其他方法可以减少 pip 下载时间？

Answer 1

这是因为这些软件包需要安装在工作程序上，并且它不希望下载特定于您启动管道的任何机器的二进制文件。

如果你有很多依赖，最好的解决方案是使用custom containers。