Autograd：自动微分

Autograd

1、深度学习的算法本质上是通过反向传播求导数，Pytorch的Autograd模块实现了此功能；在Tensor上的所有操作，Autograd都能为他们自动提供微分，避免手动计算导数的复杂过程。
2、autograd.Variable是Autograd中的核心类，它简单的封装了Tensor，并支持几乎所有Tensor操作；Tensor被封装为Variable之后，可以调用它的.backward()实现反向传播，自动计算所有的梯度。
3、Variable主要包含三个属性：
        data：保存Variable所包含的Tensor；
        grad：保存data对应的梯度，grad也是个Variable，而不是Tensor，它和data的形状一样；
        grad_fn：指向一个Function对象，这个Function用来反向传播计算输入的梯度。

具体代码解析

#_Author_:Monkey
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import torch as t
from torch.autograd import Variable
x = Variable(t.ones(2,2),requires_grad = True)
print(x)
\'\'\'\'\'tensor([[1., 1.],
[1., 1.]], requires_grad=True)\'\'\'
y = x.sum()
print(y)
\'\'\'\'\'tensor(4., grad_fn=<SumBackward0>)\'\'\'
print(y.grad_fn) #指向一个Function对象，这个Function用来反向传播计算输入的梯度
\'\'\'\'\'<SumBackward0 object at 0x000002D4240AB860>\'\'\'
y.backward()
print(x.grad)
\'\'\'\'\'tensor([[1., 1.],
[1., 1.]])\'\'\'
y.backward()
print(x.grad)
\'\'\'\'\'tensor([[2., 2.],
[2., 2.]])\'\'\'
y.backward()
print( x.grad )
\'\'\'\'\'tensor([[3., 3.],
[3., 3.]])\'\'\'
\'\'\'\'\'grad在反向传播过程中时累加的(accumulated)，这意味着运行
反向传播，梯度都会累加之前的梯度，所以反向传播之前需要梯度清零\'\'\'
print( x.grad.data.zero_() )
\'\'\'\'\'tensor([[0., 0.],
[0., 0.]])\'\'\'
y.backward()
print( x.grad )
\'\'\'\'\'tensor([[1., 1.],
[1., 1.]])\'\'\'
m = Variable(t.ones(4,5))
n = t.cos(m)
print(m)
print(n)
\'\'\'\'\'tensor([[1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1.]])
tensor([[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
[0.5403, 0.5403, 0.5403, 0.5403, 0.5403]])\'\'\'
m_tensor_cos = t.cos(m.data)
print(m_tensor_cos)
\'\'\'\'\'ensor([[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
[0.5403, 0.5403, 0.5403, 0.5403, 0.5403]])\'\'\'