虚假的 ImportErrors（模块导入子模块？）答案

【问题标题】：Spurious ImportErrors (with modules importing submodules?)虚假的 ImportErrors（模块导入子模块？）
【发布时间】：2011-11-07 19:48:44
【问题描述】：

我有一个问题，我真的不知道从哪里开始解决。也许它会敲响某人的钟声。

TLDR： Django 应用程序崩溃并在重新启动时运行但无法导入某些模块。再次重启后一切正常。

整个故事：

偶尔会在不同的 Python（2.5.x、2.6.x 和 2.6.x）和 Django 版本（分别为 1.1.0、1.2.5 和 1.3.0）上使用不同的应用程序（我们现在最多三个）表现出虚假的 ImportErrors。例如，其中一个应用程序通过在内部抛出 ImportError 开始使每个请求失败：

from django.contrib.gis.maps.google import GMarker, GEvent

我们收集了strace 输出，相关块如下（为了简洁和保护有罪者，绝对路径替换为 DIR）。

stat64("DIR/django/contrib/gis/maps/google/GMarker", 0xf699ce3c) = -1 ENOENT (No such file or directory)
open("DIR/django/contrib/gis/maps/google/GMarker.so", O_RDONLY|O_LARGEFILE) = -1 ENOENT (No such file or directory)
open("DIR/django/contrib/gis/maps/google/GMarkermodule.so", O_RDONLY|O_LARGEFILE) = -1 ENOENT (No such file or directory)
open("DIR/django/contrib/gis/maps/google/GMarker.py", O_RDONLY|O_LARGEFILE) = -1 ENOENT (No such file or directory)
open("DIR/django/contrib/gis/maps/google/GMarker.pyc", O_RDONLY|O_LARGEFILE) = -1 ENOENT (No such file or directory)

（又是同样的事情 s/GMarker/GEvent/）

重启进程后一切顺利，也在运行：

python -c 'from django.contrib.gis.maps.google import GMarker'

不会产生错误。

GMarker 和 GEvent 类实际上是在django.contrib.gis.maps.google.overlays 中定义并在...maps/google/__init__.py 中导入的：

from django.contrib.gis.maps.google.gmap import GoogleMap, GoogleMapSet
from django.contrib.gis.maps.google.overlays import GEvent, GIcon, GMarker, GPolygon, GPolyline
from django.contrib.gis.maps.google.zoom import GoogleZoom

因此完全可以预期加载 GMarker.py 等。将失败。似乎 Python 不知何故忘记了 __init__.py 及其命名空间。

这些应用的流量相对较高，可以想象（尽管不确定）它们可能已超出其 VM 限制并且几乎可以正常恢复。此外，至少在两种情况下，该应用程序存在导致崩溃的早期问题——在一种情况下是 SIGSEGV，在另一种情况下是错误的……其他的）。一个应用程序重启导致它抛出 ImportErrors，另一个让它再次运行。损坏的 .py[c]？时间戳是古老的。

所有这些应用都在flup wsgi-to-fastcgi服务器上运行。

到目前为止，这些应用程序中的每一个都失败了一次（在完全不同的模块中，__init__.py“忘记”的两个案例，但我找不到第三个错误 ATM）所以我无法判断这些模块是否有意义。

任何和所有的指针和想法表示赞赏！

【问题讨论】：

您能否阐明您是如何管理多个不同的 Python 和 Django 版本的 - 这是在不同的系统上还是在同一系统上，使用 virtualenv 或其他一些技巧让它们并行运行？
完全不相关的系统（不同的物理机，不同的 DC）。基本图像是相同的，例如所有 Python 版本都安装在任何地方。稳定状态是一切正常（sys.path 是正确的等）。使用 100% 相同的环境重新启动应用程序“修复”了任何问题。
这些不是我要升级的应用程序。我被他们使用的任何东西困住了。
您确定您的网络服务器配置不使用踏板吗？您在报告中看到'wsgi.multithread': False 吗？否则服务器配置（使用 apache?、模块、选项、flup 版本等）可能比您的应用程序更重要。也试着想想两个常见问题：I have problem with flup... and Calling WSGIServer.run from an...

标签： python django import importerror

【解决方案1】：

实际上，您的 strace 行并没有什么帮助；这些访问没有导致模块被导入。

此类导入错误可能有多种原因：

有人修改了 sys.path 并且不再在模块路径中
这些模块中的循环导入，由您先从另一个模块导入触发！
你有网站冲突（是的，有那种冲突），从不同的网站包位置加载相同的模块
您在搜索路径中有一个模块与某处的其他模块或系统模块发生冲突。

如果您粘贴第二组 strace 行，我们会更接近解决方案？

更新

对于 2。我的意思是，如果您有 2 个具有以下结构的文件

foo.py/init.py:

from bar import baz

bar.py/init.py:

import foo
def baz():
     pass

snafu.py:

import bar
import foo

ok.py：

import foo
import snafu

运行 python snafu.py 你会得到一个崩溃和类似的 strace 输出，运行 python ok.py 并且一切正常。

【讨论】：

好吧，这个问题已经有一段时间没有出现了，现在对我来说它的优先级很低。你说的第二组到底是什么意思？您提到的所有事情都会导致应用程序无法完全运行，不会在崩溃后重新启动一次，对吧？
不一定正确，除了可能 4。我相应地更新了我的答案。
我用我的循环导入假设做实验，制作包foo和bar，内容如上；如果我先导入 bar，当 python 尝试查找 baz.py、baz.so 等时，我会得到 strace 输出......所以这就是我现在所倾向于的。

【解决方案2】：

我觉得 strace 的输出很可疑：

DIR/django/contrib/gis/...

我想知道这个DIR 部分。您是否有可能在某处使用 DIR 而不是 $DIR 错误输入了 PYTHONPATH 变量？

【讨论】：

不，为了简洁起见，我主要在准备这篇文章时将完整路径替换为“DIR”。 $PYTHONPATH 是正确的，在应用程序重新启动后可见。

【解决方案3】：

我建议您尝试包装导入...除了 ImportError 并添加执行类似操作的代码（任何记录，而不是打印都可以）

import sys
print sys.modules["django.contrib.gis.maps.google"]
print dir(sys.modules["django.contrib.gis.maps.google"])

这应该让您了解正在发生的事情。

【讨论】：