Python 字典键。 “在”复杂性

Question

快速提问，主要满足我对该主题的好奇心。

我正在编写一些带有 SQlite 数据库后端的大型 python 程序，并且将来会处理大量记录，因此我需要尽可能优化。

对于一些功能，我正在通过字典中的键进行搜索。我一直在使用“in”关键字进行原型设计，并计划稍后返回并优化这些搜索，因为我知道“in”关键字通常是 O(n)（因为这只是转换为 python 遍历整个列表并进行比较每个元素）。但是，作为一个 python dict 基本上只是一个哈希映射，python 解释器是否足够聪明来解释：

if(key in dict.keys()):
    ...code...

到：

if(dict[key] != None):
    ...code...

这基本上是相同的操作，但顶部是 O(n)，底部是 O(1)。

在我的代码中使用底层版本对我来说很容易，但后来我只是好奇并想我会问。

Answer 1

首先，key in d.keys() 保证为您提供与 key in d 相同的值，用于任何字典 d。

而对dict 的in 操作，或通过调用keys() 返回的dict_keys 对象（在3.x 中）是不是 O(N )，它是 O(1)。

没有真正的“优化”；只是使用哈希是在哈希表上实现__contains__ 的明显方式，就像它是实现__getitem__ 的明显方式一样。

---

你可能会问这是在哪里保证的。

好吧，事实并非如此。 Mapping Types 基本上将dict 定义为collections.abc.Mapping 的哈希表实现。没有什么能阻止某人创建映射的哈希表实现，但仍提供 O(N) 搜索。但做出如此糟糕的实现将是额外的工作，那他们为什么会这样做呢？

如果您真的需要向自己证明这一点，您可以测试您关心的每个实现（使用分析器，或者使用带有自定义 __hash__ 和 __eq__ 记录调用的某种类型，或者......），或者阅读源代码。

---

在 2.x 中，您不想调用 keys，因为这会生成一个 list 的键，而不是 KeysView。您可以使用iterkeys，但这可能会生成一个迭代器或其他不是 O(1) 的东西。因此，只需将 dict 本身用作序列即可。

即使在 3.x 中，您也不想调用 keys，因为没有必要。迭代一个dict，检查它的__contains__，一般来说把它当作一个序列来处理总是等同于对它的键做同样的事情，那何必呢？ （当然，构建微不足道的 KeyView 并通过它进行访问，会增加几纳秒的运行时间和几下程序的击键次数。）

（不清楚在 2.x 中使用序列操作对于 d.keys()/d.iterkeys() 和 d 是等价的。除了性能问题之外，它们在每个 CPython 中是等价的， Jython、IronPython 和 PyPy 实现，但在 3.x 中的任何地方似乎都没有说明它。这没关系；只需使用 key in d。）

---

当我们这样做时，请注意：

if(dict[key] != None):

... 是行不通的。如果key 不在dict 中，这将引发KeyError，而不是返回None。

另外，你不应该检查None 和== 或!=；始终使用is。

您可以使用try 执行此操作，或者更简单地说，使用if dict.get(key, None) is not None。但同样，没有理由这样做。此外，这不会处理 None 是完全有效的项目的情况。如果是这种情况，您需要执行sentinel = object(); if dict.get(key, sentinel) is not sentinel: 之类的操作。

---

所以，正确的写法是：

if key in d:

---

更一般地说，这是不正确的：

我知道“in”关键字通常是 O(n)（因为这只是转换为 python 遍历整个列表并比较每个元素

in 运算符与大多数其他运算符一样，只是对 __contains__ 方法（或 C/Java/.NET/RPython 内置函数的等效方法）的调用。 list 通过迭代列表并比较每个元素来实现它； dict 通过散列值并查找散列来实现它； blist.blist 通过遍历 B+Tree 来实现；等等。所以，它可能是 O(n)、O(1)、O(log n) 或完全不同的东西。

Answer 2

在 Python 2 中，dict.keys() 首先创建整个键列表，这就是为什么它是 O(N) 操作，而 key in dict 是 O(1) 操作。

if(dict[key] != None) 如果在 dict 中没有找到 key，则会引发 KeyError，所以它不等同于第一个代码。

Python 2 结果：

>>> dic = dict.fromkeys(range(10**5))
>>> %timeit 10000 in dic
1000000 loops, best of 3: 170 ns per loop
>>> %timeit 10000 in dic.keys()
100 loops, best of 3: 4.98 ms per loop
>>> %timeit 10000 in dic.iterkeys()
1000 loops, best of 3: 402 us per loop
>>> %timeit 10000 in dic.viewkeys()
1000000 loops, best of 3: 457 ns per loop

在 Python 3 中，dict.keys() 返回一个视图对象，它比 Python 2 的 keys() 快得多，但仍然较慢简单普通 key in dict：

Python 3 结果：

>>> dic = dict.fromkeys(range(10**5))
>>> %timeit 10000 in dic
1000000 loops, best of 3: 295 ns per loop
>>> %timeit 10000 in dic.keys()
1000000 loops, best of 3: 475 ns per loop

只使用：

if key in dict:
   #code

Answer 3

这样做的正确方法是

if key in dict:
    do stuff

in 运算符对于 python 中的字典和集合来说是 O(1)。

Answer 4

dict 的 in 运算符的平均案例时间复杂度为 O(1)。有关其他 dict() 方法的时间复杂度的详细信息，请访问此link。

Answer 5

兄弟你可以这样写...所以你也不需要检查异常，我的方法时间复杂度是 O(1)。

if (dict.get(key) != None):
....code.....enter code here