tensorflow计算图研究纪要：
网上关于Tensorflow timeline 的资料很少，最近在做一些TF调优的事情，将这个图的分析总结如下，不对的地方欢迎指正：
1:代表的是 MEMCPYHtoD operation操作 H代表Host，我理解为cpu或者本机内存，D代表Device，这里表示GPU
2:GPU:0/stream 代表的是 cuda执行的时间，可以看到各个 operation是 有先后顺序的
3:代表前向计算的过程
4:可以看到这一块是不存在输入输出流的，这里仅仅代表了这个操作的占用的时间
5:job/replica 中节点所用时间代表的是 将这个操作指令压入队列的操作，一般用时很短，0.009毫秒
6:以Grad结束的操作其实是梯度操作，最后梯度的流出方向是 apply 也就是把梯度应用到 参数变量上。