1、跑程序一定要后台跑，执行screen -S xxx,启动一个后台桌面，这样自己电脑断开服务器，程序仍然会在运行。如果不是后台跑，自己电脑和服务器断开连接，程序很可能中断，screen -S session_name -X quit 杀死session，不杀死，显存释放不出来。
screen -S yourname -> 新建一个叫yourname的session
screen -ls -> 列出当前所有的session
screen -r yourname -> 回到yourname这个session
screen -d yourname -> 远程detach某个session
screen -d -r yourname -> 结束当前session并回到yourname这个session
2、想要实时查看日志，可以把日志保存到指定文件中，然后执行：tail -fn 1000 xxxx,可以实时查看日志
3、为了防止数据因无法预测的原因丢失，将训练结果通过私人网盘客户端自动同步到本地电脑，并且通过checkpoint定时保存训练结果
4、tensorboard访问url地址(用Chrome浏览器访问): http://111.44.254.178:31463 （服务器地址+服务器端口号）
注意:需要自己手动在服务器中启动tensorboard，才能访问tensorboard的url地址，启动命令:tensorboard --logdir mylogdir(服务器中启动) ,容器内部端口默认为6006，但是注意外部访问端口不是6006，是邮件中的端口号，容器会自动把外部端口映射到内部6006端口上。可以在服务器中运行：tensorboard --helpfull获得帮助
5、pycharm配置远程ssh调试 https://www.cnblogs.com/mehome/p/9321188.html
6、以后有了再写