学习神经网络过程中遇到的问题
利用神经网络拟合一个函数
γ按1.4算，那么自变量也就是输入只有M1和β，因变量只有一个θ，网络结构采用两层1024个单元，训练数据就按这个公式生成M1在1到10之间，β在0到二分之pi，舍去了θ为负数的例子。只画M1为3和5的情况就是：
原图：
遇到的问题
利用原始数据L2正则化系数为0.001的情况拟合的结果很不好：
均方误差在0.03左右。
原始数据去掉L2正则化的情况：
情况好些了，均方误差在0.0003左右。而且训练了很多轮。
但是直观的看结果并不是很好。
于是便采用了一种方法。
原始数据不论输入还是输出都变成原来的100倍作为训练数据，L2正则化系数为0.001的情况：
结果看起来还是不错的，均方误差在0.025左右，而且训练了很少的轮数。
最后只改变β和θ，由于二者之前用的是弧度制，现改为角度制，本质相当于只将这两个参数扩大。
L2正则化系数为0.001：
结果依旧很好，均方误差在0.012左右。
猜想
有可能是扩大了数字的范围提高了精度的利用率。
乘加操作使得之前层的权值范围比之后层权值范围小，可能利用BN层会有改善。
对于这个问题这个方法可以降低相对误差，但分类问题或者one hot编码之类的会不会有提升还没实验过。
第一次写博客菜的很