Tensorflow 性能优化策略算法

优化性能策略

• • 1. 加入动量，momentum，对梯度更新的方向进行修正
  • 2. dropout，随机取消一些反向传播更新的权重
  • 3. 设置步长——动态改变学习率
  • 4. 过拟合——正则化
  • 总结：

---

1. 加入动量，momentum，对梯度更新的方向进行修正

---

---

---

2. dropout，随机取消一些反向传播更新的权重

---

3. 设置步长——动态改变学习率

---

---

4. 过拟合——正则化

---

总结：

这些实际都是数学理论得出的优化方法，即算法。然后才有相应的实现，总结：框架只是一个工具，更重要的是，我们对算法本身的理解，这才是算法开发者最重要的能力。