在 python 源/脚本中查找依赖项

Question

我有一堆简单的 Python 脚本，带有简单的表达式[1]，例如：

C = A+B
D = C * 4

我需要执行它们，但最重要的是我需要知道我依赖的对象是什么；在前一种情况下，对象 A 和 B 是外部依赖项。例如。鉴于我在一个名为 source 的 var 中有以前的代码，我希望能够：

deps = { "A" : 1 , "B": 2}
exec source in deps

所以知道如何构建字典是非常有必要的deps。

我潜入了 ast Python 模块，但我不知道。

---

[1] 简单的数学聚合，在一定程度上 for 个周期，仅此而已。

Answer 1

您可以使用标准库中的 tokenize 模块对 Python 源代码进行标记。这将允许您找到脚本中使用的所有变量名称。

现在假设我们将“非依赖”定义为紧接在= 符号之前的任何变量名。然后，根据您的脚本代码的简单程度（请参阅下面的注意事项），您可以通过这种方式确定不是非依赖项的变量名称：

import tokenize
import io
import token
import collections
import keyword

kwset = set(keyword.kwlist)
class Token(collections.namedtuple('Token', 'num val start end line')):
    @property
    def name(self):
        return token.tok_name[self.num]

source = '''
C = A+B
D = C * 4
'''

lastname = None
names = set()
not_dep = set()
for tok in tokenize.generate_tokens(io.BytesIO(source).readline):
    tok = Token(*tok)
    print(tok.name, tok.val)
    if tok.name == 'NAME':
        names.add(tok.val)
        lastname = tok.val
    if tok.name == 'OP' and tok.val == '=':
        not_dep.add(lastname)

print(names)
# set(['A', 'C', 'B', 'D'])
print(not_dep)
# set(['C', 'D'])

deps = dict.fromkeys(names - not_dep - kwset, 1)
print(deps)
# {'A': 1, 'B': 1}

---

注意事项：

• 如果您的脚本包含非简单语句 分配，然后names 可能会填充不受欢迎的 变量名。例如，

  import numpy
  

  会将'import' 和'numpy' 添加到集合names。

• 如果您的脚本包含使用左手的赋值 侧元组拆包，如

  E, F = 1, 2
  

  那么上面的幼稚代码只会识别出F 不是 依赖。