iPython 调试器引发`NameError: name ... is not defined`

Question

我无法理解此 Python 调试器会话中引发的以下异常：

(Pdb) p [move for move in move_values if move[0] == max_value]
*** NameError: name 'max_value' is not defined
(Pdb) [move for move in move_values]
[(0.5, (0, 0)), (0.5, (0, 1)), (0.5, (0, 2)), (0.5, (1, 0)), (0.5, (1, 1)), (0.5, (1, 2)), (0.5, (2, 0)), (0.5, (2, 1)), (0.5, (2, 2))]
(Pdb) max_value
0.5
(Pdb) (0.5, (0, 2))[0] == max_value
True
(Pdb) [move for move in move_values if move[0] == 0.5]
[(0.5, (0, 0)), (0.5, (0, 1)), (0.5, (0, 2)), (0.5, (1, 0)), (0.5, (1, 1)), (0.5, (1, 2)), (0.5, (2, 0)), (0.5, (2, 1)), (0.5, (2, 2))]
(Pdb) [move for move in move_values if move[0] == max_value]
*** NameError: name 'max_value' is not defined

为什么有时告诉我 max_value 未定义而其他时候却没有？

顺便说一下，这是调试器启动之前的代码：

max_value = max(move_values)[0]
best_moves = [move for move in move_values if move[0] == max_value]
import pdb; pdb.set_trace()

我正在使用在 PyCharm 中运行的 Python 3.6。

修正更新：

经过更多测试后，当我在 iPython REPL 或 PyCharm 中执行以下操作时，在 pdb 会话中的列表解析中似乎看不到局部变量：

$ ipython
Python 3.6.5 | packaged by conda-forge | (default, Apr  6 2018, 13:44:09) 
Type 'copyright', 'credits' or 'license' for more information
IPython 6.4.0 -- An enhanced Interactive Python. Type '?' for help.

In [1]: import pdb; pdb.set_trace()
--Call--
> /Users/billtubbs/anaconda/envs/py36/lib/python3.6/site-packages/IPython/core/displayhook.py(247)__call__()
-> def __call__(self, result=None):
(Pdb) x = 1; [x for i in range(3)]
*** NameError: name 'x' is not defined

但是在常规的 Python REPL 中它可以工作：

$ python
Python 3.6.5 | packaged by conda-forge | (default, Apr  6 2018, 13:44:09) 
[GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pdb; pdb.set_trace()
--Return--
> <stdin>(1)<module>()->None
(Pdb) x = 1; [x for i in range(3)]
[1, 1, 1]

我在上面测试了 3.4、3.5、3.6 版本，因此它似乎与版本无关。

更新 2

请注意，上面的测试（'AMENDED UPDATE'）是有问题的，因为它在交互式 REPL 中使用了import pdb; pdb.set_trace()。

另外，原来的问题不仅限于 iPython。

请参阅下面的answer by user2357112，以全面了解此处发生的情况。

很抱歉，如果我造成任何混乱！

Answer 1

这里有两个核心问题。第一个是（在 IPython 中以交互方式调用 pdb.set_trace() 时）您正在调试 IPython 的核心而不是您想要的范围。第二个是列表理解范围规则与无法静态确定封闭范围中存在的变量的情况相互作用，例如在调试器或class bodies。

第一个问题几乎只发生在在 IPython 交互式提示符中输入 pdb.set_trace() 时，这不是一件非常有用的事情，因此避免该问题的最简单方法就是不这样做。如果你还是想这样做，你可以输入r 命令几次，直到 pdb 说你已经没有 IPython 的胆量了。 （不要过头，否则你会陷入 IPython 胆量的不同部分。）

第二个问题是根深蒂固的语言设计决策本质上不可避免的交互。不幸的是，它不太可能消失。调试器中的列表推导只能在全局范围内工作，而不是在调试函数时。如果要在调试函数的同时构建列表，最简单的方法可能是使用interact 命令并编写for 循环。

---

这里是完整的效果组合。

1. pdb.set_trace() 在下一个 trace 事件 上触发 pdb，而不是在调用 pdb.set_trace() 的地方。

pdb 和其他 Python 调试器使用的trace function 机制仅在某些特定事件上触发，不幸的是，“设置跟踪函数时”不是这些事件之一。通常，下一个事件是用于下一行的 'line' 事件或用于结束当前代码对象执行的 'return' 事件，但这不是这里发生的情况。

1. IPython 设置displayhook 来自定义表达式语句处理。

Python 用来显示表达式语句结果的机制是sys.displayhook。当您在交互式提示符下执行1+2 时：

>>> 1+2
3

sys.displayhook 打印 3 而不是丢弃它。它还设置_。当表达式语句的结果是 None 时，例如表达式 pdb.set_trace()，sys.displayhook 什么都不做，但它仍然被调用。

IPython 用自己的自定义处理程序替换sys.displayhook，负责打印Out[n]: 事物，设置Out 记录中的条目，调用IPython 自定义漂亮打印，以及各种其他IPython 便利。对于我们来说，重要的是 IPython 的 displayhook 是用 Python 编写的，所以下一个跟踪事件是 displayhook 的 'call' 事件。

pdb 开始调试在 IPython 的 displayhook 中。

In [1]: import pdb; pdb.set_trace()
--Call--
> /Users/billtubbs/anaconda/envs/py36/lib/python3.6/site-packages/IPython/core/displayhook.py(247)__call__()
-> def __call__(self, result=None):

1. 列表推导式创建一个新范围。

人们不喜欢列表推导如何将循环变量泄漏到 Python 2 中的包含范围中，因此列表推导在 Python 3 中拥有自己的范围。

4. pdb 使用eval，它与闭包变量的交互非常糟糕。

Python 的闭包变量机制依赖于与eval 的工作方式完全不兼容的静态范围分析。因此，在eval 中创建的新作用域无法访问闭包变量；他们只能访问全局变量。

---

总而言之，在 IPython 中，您最终调试的是 IPython 显示钩子，而不是运行交互式代码的范围。由于您位于 IPython 的显示钩子中，因此您的 x = 1 分配进入显示钩子的本地。随后的列表解析需要访问 displayhook 的本地变量才能访问 x，但这将是列表解析的闭包变量，不适用于 eval。

在 IPython 之外，sys.displayhook 是用 C 编写的，所以 pdb 无法进入它，并且它没有 'call' 事件。您最终调试了您打算调试的范围。由于您在全局范围内，x = 1 进入全局范围，列表推导可以访问它。

如果您在调试任何普通函数时尝试运行x = 1; [x for i in range(3)]，您会看到相同的效果。

Answer 2

一个可能的解决方案/解决方法是运行

 globals().update(locals())

在 (i)pdb 中运行列表推导之前。