在 python 3 中使用 pip 导入运行时安装的模块

Question

我想在运行时安装和导入Python 3 模块。

我正在使用以下函数在运行时使用pip 安装模块：

def installModules(modules):
    for module in modules:
        print("Installing module {}...".format(module))

        subprocess.call([sys.executable, "-m", "pip", "install", "--user", module])

模块安装成功，但安装完成后我无法在运行时导入它。所以如果我这样做：

modules = [ "wget", "zipfile2" ]
installModules(module)
import wget

我收到了ModuleNotFoundError。如果在那之后，我开始另一个 Python 3 会话，我可以使用这些模块，例如wget，这意味着模块已安装，但它们不适用于当前的 Python 3 会话。

是否可以在 Python 3 中安装，然后在同一个 Python 3 会话中导入已安装的模块，即在安装之后？

谢谢！

编辑：

在 VirtualBox 中全新安装 Ubuntu 19.04，在 sudo apt-get install python3-pip 之后，运行以下脚本：

import os, sys
import subprocess


def installModules(modules):
    for module in modules:
        print("Installing module {}...".format(module))

        subprocess.call([sys.executable, "-m", "pip", "install", "--user", module])

def process():
    modulesToInstall = [ "wget", "zipfile2" ]
    installModules(modulesToInstall)

process()

import wget

def main():
    wget.download("http://192.168.2.234/test/configure.py")

if __name__ == "__main__":
    main()

我明白了：

user@user-VirtualBox:~$ python3 script.py
Installing module wget...
Collecting wget
Installing collected packages: wget
Successfully installed wget-3.2
Installing module zipfile2...
Collecting zipfile2
  Using cached https://files.pythonhosted.org/packages/60/ad/d6bc08f235b66c11bbb76df41b973ce93544a907cc0e23c726ea374eee79/zipfile2-0.0.12-py2.py3-none-any.whl
Installing collected packages: zipfile2
Successfully installed zipfile2-0.0.12
Traceback (most recent call last):
  File "script.py", line 17, in <module>
    import wget
ModuleNotFoundError: No module named 'wget'

Python 3 版本是：

user@user-VirtualBox:~$ python3 --version
Python 3.7.3

pip3 版本是：

user@user-VirtualBox:~$ pip3 --version
pip 18.1 from /usr/lib/python3/dist-packages/pip (python 3.7)

其他信息：

user@user-VirtualBox:~$ whereis python3
python3: /usr/bin/python3.7m /usr/bin/python3.7-config /usr/bin/python3.7 /usr/bin/python3 /usr/bin/python3.7m-config /usr/lib/python3.7 /usr/lib/python3.8 /usr/lib/python3 /etc/python3.7 /etc/python3 /usr/local/lib/python3.7 /usr/include/python3.7m /usr/include/python3.7 /usr/share/python3 /usr/share/man/man1/python3.1.gz

有什么想法吗？

Answer 1

默认情况下，Python 在启动时会添加 user site-packages dir（我将其称为 USPD) 在模块搜索路径中。但这只有在文件系统（磁盘）上存在目录时才会发生。我没有找到任何官方文档来支持这种说法¹，所以我花了一些时间调试并想知道为什么事情看起来如此奇怪.

上述行为对这个特定场景有重大影响 (pip install <strong>--user</strong>)。考虑将安装模块的 Python 进程的状态（在启动时）：

1. USPD 存在：

   • 事情很简单，一切正常好的

2. USPD 不存在：

   • 模块安装将创建它
   • 但是，由于它不在模块搜索路径中，因此安装在那里的所有模块都不能用于（简单）import 语句

当另一个 Python 进程启动时，它将属于 #1。

为了解决问题，USPD 应该手动添加到模块搜索路径中。下面是（开始的）脚本的样子：

import sys
import os
import subprocess
import site

user_site = site.getusersitepackages()
if user_site not in sys.path:
    sys.path.append(user_site)

# ...

@EDIT0：

¹我刚刚遇到[Python]: PEP 370 -- Per user site-packages directory - Implementation（强调是我的）：

站点模块获得了一个新方法adduserpackage()，它将适当的目录添加到搜索路径中。 Python启动时目录不存在则不添加.