1、watch -n 0.1 nvidia-smi
Pwr:Usage/Cap（48w/250w）表示显卡功率；中间那一栏，表示显存的已占用/总共的大小；Perf表示性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能（未工作时为P0）；FAN表示风扇转速；persistence-M：持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时，花费的时间更少；Disp.A：display active，表示GPU的显示是否初始化；volatile GPU-util:浮动的GPU利用率; compute M:计算模式。
2、cuda out of memory
在网络中，存在一个generator和3个discriminator，loss是四者的和，在训练generator时，将discriminator的计算放在with torch.no_grad():语句下；同样，在训练discriminator时，将generator的计算放在with torch.no_grad()语句下。避免多余的反向传播