上面写的字迹有点乱，重新公式梳理：
逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。损失函数，就是衡量真实值和预测值之间差距的函数。所以，我们希望这个函数越小越好。在这里，最小损失是0。
最小二乘意义下的矩阵的逆求参数最优解
经过变量的变换
实际值、预测值、误差
使用极大似然估计解释最大二乘。误差是独立同分布的，服从均值为0，方差为某定值的高斯分布。原因是：中心极限定理。运用似然函数，样本是独立分布的，联合密度函数，服务正态分布，均值为0，方差为某特定值的高斯分布。
高斯的对数似然与最小二乘
下面是损失函数、目标函数、最小二乘。最小二乘估计就是假定了误差服从高斯分布，同时认为样本相对独立，使用极大似然估计最终得出结论：
以上我们得到了目标函数，下面我们来看看这个希特的求解过程：
下面进行梯度矩阵计算希特何时为最优：
最小二乘意义下的矩阵的逆求参数最优解
（这是求希特的方法一）参数的解析式的最终结论。
过拟合处理方法有：增加数据量。简化模型。交叉验证。正则化。正则化就是通过对模型参数进行调整（数量和大小），降低模型的复杂度，避免过拟合的效果。
线性回归的目标函数为：
将目标函数增加平方和损失：
正则项与防治过拟合：
L2-norm：
Elastic net
线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数，
另外线性回归在整个实数域范围内进行预测，敏感度一致，而分类范围，需要在[0,1]。
L1范数可以使权值稀疏，方便特征提取。
L2范数可以防止过拟合，提升模型的泛化能力。
L1是拉普拉斯分布，L2是高斯分布。
逻辑回归的参数估计，做线性分布的时候，yi mou xi long是服从方差是0，均值是某个的高斯分布。逻辑回归本质是要做分类，分类的意思就是可能是0 ，也可能是1。
逻辑回归的对数似然函数
这个是随机的梯度上升
逻辑回归我们假设模型服从二项分布，然后利用最大似然估计进行推导。线性回归是高斯分布。
二项分布，泊松和高斯分布都是指数族分布。逻辑回归的本质仍然是线性的模型的范畴，只不过他是广义的线性模型.