如何在包中只导入没有 exec __init__.py 的子模块

Question

从包中导入子模块时，包文件夹中的 __init__.py 文件将首先执行，如何禁用此功能。有时我只需要一个包中的一个功能，导入整个包有点重。

例如，pandas.io.clipboard 模块不依赖于 pandas 中的任何其他函数。

from pandas.io.clipboard import clipboard_get 会导入函数，也会导入所有 pandas 常用模块。是否有一些方法只导入剪贴板模块，因为它是我自己的应用程序文件夹中的一个模块。

Answer 1

没有，设计。如果您想在导入子模块时避免太多开销，您只需使用空的__init__.pys 来定义包。这样，导入包的开销几乎为零。

如果pandas 没有不 这样做，那么您有没有 方法来导入pandas.io.clipboard 而无需先导入pandas 和io。您可以做的，但是它是一个巨大的hack并且它是不等效的，是将clipboard模块作为普通模块导入作为一个子模块。您只需找到安装pandas 的位置（例如/usr/lib/pythonX.Y/dist-packages/）并将父包的路径插入sys.path（在您的情况下为/usr/lib/pythonX.Y/dist-packages/pandas/io）。然后您可以通过以下方式导入clipboard 包：

import clipboard

但请注意：

import clipboard
from pandas.io import clipboard as clipboard2
print(clipboard == clipboard2)

将打印False。事实上，这样做会破坏很多代码，因为您从根本上破坏了import 机制假设的一些不变量。

特别是如果子模块确实使用相对导入引用了其他子模块，则导入将失败，并且在其他情况下它不会正确运行。另一个失败的例子是你必须处理腌制的物体。如果您使用导入为 pandas.io.clipboard 的模块腌制了一些对象，您将不能够使用如上所述导入的模块 clipboard 取消腌制它们。

总之，不要！我建议：

• 如果导入包所花费的时间不是一个真正的问题，请接受它。
• 或者：尝试寻找替代品。如果您只需要pandas.io.clipboard 而不需要pandas 的其余部分，那么您首先不应该使用pandas，而应该使用仅实现clipboard 功能的较小包。

---

如果您查看pandas.util.clipboard source code，您会发现它实际上只是pyperclip 模块版本1.7。您可以在site-packages 中添加此模块并使用它来代替pandas 提供的模块。事实上pandas 团队只是在源代码末尾添加了以下部分：

## pandas aliases
clipboard_get = paste
clipboard_set = copy

---

扩展一下为什么 python 导入是这样工作的。

正如你在 python 中所知道的那样，模块就是对象。 包也是模块，虽然不是每个模块都是包。当你导入一个包时：

import pandas.io.clipboard

Python 必须：

1. 创建module 实例pandas
2. 创建module 实例io 并将其作为属性添加到pandas
3. 创建module 实例clipboard 并将其作为属性添加到io。

为了创建module实例python必须执行模块中的代码。

表单的导入：

from pandas.io import clipboard

只是语法糖：

import pandas.io.clipboard
clipboard = pandas.io.clipboard
del pandas.io

请注意，在from 的情况下，clipboard 可以是module/包，也可以只是在io 中定义的东西。为了检查这一点，解释器必须还导入io，为此它必须还导入pandas。

Answer 2

我找到了一个使用sys.meta_path钩住导入过程的方法：

import imp, sys

class DummyLoader(object):

    def load_module(self, name):
        names = name.split("__")
        path = None
        for name in names:
            f, path, info = imp.find_module(name, path)
            path = [path]
        return imp.load_module(name, f, path[0], info)

    def find_module(self, name, path=None):
        if "__" in name and not name.startswith("__"):
            return DummyLoader()
        else:
            return None

if not sys.meta_path:
    sys.meta_path.append(DummyLoader())
else:
    sys.meta_path[0] = DummyLoader()

使用“__”而不是“。”仅用于加载文件：

import pandas__util__clipboard as clip

或使用函数加载文件：

import imp

def load_module(name):
    names = name.split(".")
    path = None
    for name in names:
        f, path, info = imp.find_module(name, path)
        path = [path]
    return imp.load_module(name, f, path[0], info)    

clip = load_module("pandas.util.clipboard")

Answer 3

使用 Python3.5+，您可以直接从其路径导入源文件，而无需在包含该文件的目录中执行 __init__。灵感来自official importlib example：

import importlib
import os
import pathlib
import sys
import types


def import_module_from_path(path: str | os.PathLike) -> types.ModuleType:
  """Import a module from the given path."""
  module_path = pathlib.Path(path).resolve()
  module_name = module_path.stem  # 'path/x.py' -> 'x'
  spec = importlib.util.spec_from_file_location(module_name, module_path)
  module = importlib.util.module_from_spec(spec)
  sys.modules[module_name] = module
  spec.loader.exec_module(module)
  return module


# Import `my_module` without executing `/path/to/__init__.py`
my_module = import_module_from_path('/path/to/my_module.py')

一些注意事项：

• sys.modules[module_name] = module 将覆盖具有相似名称的模块。未来的import module_name 调用将返回此模块。
• 即使文件已经导入也会执行。

您可以查看sys.modules 并添加一些逻辑来解决这些问题。

Answer 4

我尝试了这些方法，但无法让它们发挥作用。所以显然设计它不应该工作..

如果您必须这样做，请在您尝试导入的存储库中创建一个新分支，或初始化一个存储库：

git checkout -b without_init

..然后删除__init__.py！

从您尝试导入的任何地方，您都可以检查 Python 是否在正确的分支上，如下所示：

import subprocess
print ("Current branch is:", subprocess.check_output(["git rev-parse --abbrev-ref HEAD"], shell=True).strip().decode())

>> without_init