为什么在新的 virtualenv 中导入 numpy 需要 5 秒？

Question

背景

你好。我们编写在我们无法控制的服务器上运行的 Python 代码。我们对代码运行的环境了解不多。如果运行时间超过 3 秒，我们的代码就会被拒绝。所以我决定开始使用虚拟环境对我们的代码进行计时，以给出最坏情况下的运行时估计。

问题

我惊讶地发现，在一个全新的虚拟环境中，只需 5 秒就可以导入 numpy.有人可以解释为什么会这样吗？有什么技巧可以加快速度吗？一个基本库这么慢似乎令人望而却步。

重现步骤：

1. rm -r /tmp/env
2. virtualenv /tmp/env
3. /tmp/env/bin/pip install numpy
4. time /tmp/env/bin/python3 -c 'import numpy'

在我的高端笔记本电脑上它返回

  real  0m5.534s
  user  0m0.612s
  sys   0m0.133s

请注意，由于我不清楚的原因，如果您重复第 4 步而不返回第 1 步，则时间会明显减少。即使您首先运行find /tmp -type d -name '__pycache__' -exec rm -r {} \;，这种情况仍然存在。它一定是我不知道的其他类型的模块缓存吗？反正对我来说没关系，因为我无法控制远程服务器的缓存状态。

Answer 1

因为 numpy 太大了，第一次导入需要很长时间，不仅将所有这些文件加载​​，而且将 "compiling" 全部加载到 .pyc 中，一旦完成，未来的导入会更快。这就是为什么当你重新开始时，与你只做第 4 步而不回到第 1 步时相比需要很长时间的原因

至于加快速度的技巧，我认为查看pip install -h --compile 选项应该可以解决问题...