Python 分析、导入（尤其是 __init__）似乎花费了最多时间

Question

我有一个似乎运行缓慢的脚本，我使用 cProfile（和可视化工具 KCacheGrind）对其进行了分析

似乎占用了几乎 90% 的运行时间的是导入序列，尤其是 _ _ init _ _.py 文件的运行...

这里是 KCacheGrind 输出的截图（抱歉附上图片...）

我不太熟悉 python 中的导入序列是如何工作的，所以也许我有些困惑......我还在我的每个定制包中放置了_ _ init _ _.py 文件，不确定这是否是我应该拥有的完成。

无论如何，如果有人有任何提示，不胜感激！

---

编辑：功能按自身排序时的附加图片：

---

EDIT2：

这里附上代码，以便回答者更清楚：

from strategy.strategies.gradient_stop_and_target import make_one_trade

from datetime import timedelta, datetime
import pandas as pd
from data.db import get_df, mongo_read_only, save_one, mongo_read_write, save_many
from data.get import get_symbols

from strategy.trades import make_trade, make_mae, get_prices, get_signals, \
    get_prices_subset
#from profilehooks import profile


mongo = mongo_read_only()


dollar_stop = 200
dollar_target = 400
period_change = 3


signal = get_df(mongo.signals.signals, strategy = {'$regex' : '^indicators_group'}).iloc[0]


symbol = get_symbols(mongo, description = signal['symbol'])[0]


prices = get_prices(
    signal['datetime'], 
    signal['datetime'].replace(hour = 23, minute = 59),
    symbol,
    mongo)


make_one_trade(
    signal, 
    prices, 
    symbol,             
    dollar_stop,
    dollar_target,
    period_change)

函数 get_prices 只是从 mongo db 数据库中获取数据，而 make_one_trade 使用 pandas 进行简单的计算。这在我的项目中的其他任何地方都不会出现问题。

---

EDIT3：

当我在“视图”选项卡中选择“检测周期”选项时，这里是 Kcache 研磨屏幕：

这是否真的意味着我自己创建的包中确实存在循环导入，需要花费所有时间才能解决？

Answer 1

没有。您将 累积时间 与花费在 __init__.py 文件本身的顶级代码中的时间混为一谈。顶级代码调用其他方法，这些方法一起需要很多时间。

查看 self 列，找出所有时间都花在了哪里。另见What is the difference between tottime and cumtime in a python script profiled with cProfile?，incl.栏为累计时间，self为总时间。

我只是过滤掉所有<frozen importlib.*> 条目； Python 项目已经确保优化了这些路径。

但是，您的第二个屏幕截图确实显示，在您的分析运行中，您的 Python 代码忙于加载要导入的模块的字节码（marshal module 提供了 Python 字节码序列化实现）。 Python程序除了导入模块什么都不做，没有做其他工作，或者它正在使用某种形式的动态导入来加载大量模块，或者忽略正常的模块缓存并重复重新加载相同的模块.

您可以使用 Python 3.7 的新 -X importtime command-line switch 来分析导入时间，或者您可以使用专用的 import-profiler 来找出导入需要这么长时间的原因。