线性方程组
1. 线性方程组的几何含义
线性方程组就是
a11∗x1+a12∗x2+a13∗x3=b1
a21∗x1+a22∗x2+a23∗x3=b2
a31∗x1+a32∗x2+a33∗x3=b3
等价于
AX=B
对线性方程组的理解包括横向和总纵向两种理解方法，也就是column picture和row picture
1.1 column picutre
column picture是将线性方程组从竖直的角度来看，因为纵向来看，竖直的一组参数构成一组向量
v1=⎩⎨⎧a11a21a31⎭⎬⎫
v2=⎩⎨⎧a21a22a23⎭⎬⎫
v3=⎩⎨⎧a31a32a33⎭⎬⎫
AX=B就可以理解为x是线性组合的权值，通过对v1，v2，v3的重新组合，得到了向量b
c1∗v1+c2∗v2+c3∗v3=b
{v1v2v3}∗⎩⎨⎧c1c2c3⎭⎬⎫=b
1.2 row picture
除了从竖向解释线性方程组以外，还可以横向理解，其几何意义就是row picture。
因为每一个线性方程组其实都可以理解为是一条空间的直线，三个线性方程组横向理解，就是3条直线的交点坐标。
2. 线性方程组与向量方程和矩阵方程的关系
其实从对线性方程组意义的解读中，我们已经出现了线性方程组、向量方程和矩阵方程的关系。
线性方程组是矩阵最原始的意义，因为线性最初的含义就是用于解线性方程组
a11∗x1+a12∗x2+a13∗x3=b1
a21∗x1+a22∗x2+a23∗x3=b2
a31∗x1+a32∗x2+a33∗x3=b3
而向量方程是从column picture的角度来思考线性方程的意义，就是对列向量的重新组合
⎩⎨⎧a11a21a31⎭⎬⎫∗x1+⎩⎨⎧a21a22a23⎭⎬⎫∗x2+⎩⎨⎧a31a32a33⎭⎬⎫∗x3=⎩⎨⎧b1b2b3⎭⎬⎫
而矩阵方程是对向量方程的进一步简化，是利用矩阵的乘法来描述这一重新线性组合关系
{v1v2v3}∗⎩⎨⎧x1x2x3⎭⎬⎫=B
即AX=B
3. 线性方程组解的存在性与唯一性
谈到线性方程组，就一定会讨论其是否有解以及有多少个解的问题，也就是解的存在性与唯一性问题。
3.1 阶梯式
这里首先引入矩阵的阶梯式和最简阶梯式的概念，所谓阶梯式，就是矩阵从上往下，我们每一行第一个非零的数字叫做这一行的主元，上面一行的主元下面对应的位置必须全部是0，而且非零行必须在零行之上,比如
⎩⎪⎪⎨⎪⎪⎧100022003330⎭⎪⎪⎬⎪⎪⎫
第一行的1，第二行的2和第三行的3叫做主元;
主元1的下面全部是0，主元2的下面也是0
零行在非零行的下面
3.2 最简阶梯式
最简阶梯式是在阶梯式的基础上，每个主元行的上面元素必须也是0
⎩⎪⎪⎨⎪⎪⎧100002000030⎭⎪⎪⎬⎪⎪⎫
具有这种形式的矩阵叫做最简阶梯式
3.3 增广矩阵
把原方程式的系数放在矩阵左边，结果列放在系数列的右边，构成一个多了一列的矩阵就是增广矩阵,比如
a11∗x1+a12∗x2+a13∗x3=b1
a21∗x1+a22∗x2+a23∗x3=b2
a31∗x1+a32∗x2+a33∗x3=b3
系数矩阵
⎩⎨⎧a11a21a31a12a22a32a13a23a33⎭⎬⎫
增广矩阵
⎩⎨⎧a11a21a31a12a22a32a13a23a33b1b2b3⎭⎬⎫
3.4 解的存在性
我们可以看出，增广矩阵的含义其实就是左边的系数*变量=结果，如果我们把增广矩阵化成阶梯式
⎩⎨⎧a11′00a12′a220a13′a23a33b1′b2′b3⎭⎬⎫
就可以得到方程
a11′∗x1+a12′∗x2+a13′∗x3=b1′
a22′∗x2+a23′∗x3=b2′
a33′∗x3=b3′
只有增广矩阵的阶梯形式不存在左边系数列是0，右边结果列非0的情况，这个线性方程组就有解,比如无解情况得到的矩阵
⎩⎨⎧a11′00a12′a22′0a13′a23′0b1′b2′b3⎭⎬⎫
最后一行得到方程 0 = b3’,如果b3’不是0，方程当然无解
3.5 解的唯一性
如果化简为阶梯式的时候，得到了全零行，那么最后一行0=0必定恒成立，也就是说某个参数是没有约束条件的，等于几都可以，这样的变量叫做自由变量，有自由变量的方程组必定有无穷解。
⎩⎨⎧a11′00a12′a22′0a13′a2′30b1′b2′0⎭⎬⎫
可以写成方程组
a11′∗x1+a12′∗x2+a13′∗x3=b1′
a22′∗x2+a23′∗x3=b2′
x3=x3
4. 线性方程组的求解方法
4.1 简化阶梯式法
简化阶梯式法语上面解的存在与唯一性的时候写的基本一致，就是把矩阵化成最简阶梯式，然后就可以得到结果。
⎩⎨⎧a11′000a22′000a33′b1′b2′b3′⎭⎬⎫
可得
a11′∗x1=b1′
a22′∗x2=b2′
a33′∗x3=b3′
4.2 逆矩阵法
如果矩阵A是可逆的，那么可以利用逆矩阵法求解，不过计算量很大
AX=B
X=A−1∗B
4.3 最小二乘法
如果说A中列数多于行数，也就是说，方程数多于变量数，这种情况下，方程多半是无解的，但是可以利用投影的思想使用最小二乘法进行求解。把向量B投影到A的列空间上去，就能得到误差量最小的最小二乘解。
AT∗(b−A∗x)=0
A*x是利用A中的向量重新组合得到了b的投影向量，(b-A)*x是正交与列空间A的向量，利用投影向量的垂直分量正交与列空间的性质，可以得到最小二乘法方程，解得
x=(AT∗A)−1∗AT∗b
4.3 LU分解法
因为从原始矩阵变换为最简阶梯形经过了很多次行变换，行变换可以用一个矩阵来描述，最终得到的最简阶梯形是一个下三角矩阵，记为U，而多次行变换的乘积是一个上三角矩阵，记为L，即A=LU，原式可以表示为
L∗U∗X=b
令y=UX
L∗y=b
因为L是下三角矩阵，解方程必然很快，得到y以后，再算Ux=y，U是上三角矩阵，计算也很快，用这种先拆分再解方程的LU分解法比最简阶梯形计算量更小一些
4.4 克拉默法则
克拉默法则是一种利用行列式解方程的方法，求解行列式十分复杂，这里不想介绍，实用性不强。