机器学习基础--概率论

一、了解概率论

deep belief network 深度信念网
boltzman unit

condional random field 条件随机场
probabilistic graphical model 概率图

Alexnet VGG Inecption Resnet 过拟合 避免过拟合解决方法–> 减少参数
古典概率 频率
几何概率 线的长度，图形面积
贝叶斯概率 LDA狄利克雷主题模型

掌握目标：
目标一、了解概率论与统计学基础知识
目标二、掌握描述性统计分析知识
目标三、掌握概率论基本概念
目标四、掌握条件概率与贝叶斯公式
目标五、掌握随机变量与各种分布
目标六、掌握方差与协方差
目标七、掌握大数定律、中心极限定理与抽样分布
目标八、掌握点估计、区间估计与参数估计
目标九、掌握回归分析、掌握方差分析、时间序列分析

二、数理统计负基础扫盲篇

1、就业数据分析岗位的必备工具

　　目前我国IT界高薪技术产业中大数据数据分析师岗位薪资颇高， 而该岗位
的任职要求中都需要应聘人员具备概率论与统计学的相关知识或必须是统计学
专业毕业的本科生或研究生。由此可见概率论与统计学对就业与跳槽的重要性。

2、学习人工智能新技能的必备工具

　　产业规模的增大造成有很多有经验的程序猿向人工智能转型，然
后对于他们来说不得不学或者说捡起来的一门学科就是统计学

　　所以可以看出人工智能的学习中概率论与统计学相关知识的重要性。当
然还有很多很多的原因例如工作中分析数据需要等等，所以我们需要学习这么
一门学科来掌握以下技术：

三、概率论概念

　　概率论是一门研究事情发生的可能性的学问，但是最初概率论
的起源与**问题有关。
　　统计学是通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本
质，甚至预测对象未来的一门综合性科学。
　　统计学用到了大量的数学及其它学科的专业知识，其应用范围几乎覆盖了社会
科学和自然科学的各个领域。

１、概念

　　统计学是通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本
质，甚至预测对象未来的一门综合性科学。
　　统计学用到了大量的数学及其它学科的专业知识，其应用范围几乎覆盖了社会
科学和自然科学的各个领域。

２、统计学与概率论的关系

　　概率论是统计推断的基础，在给定数据生成过程下观测、研究数据的性质；
而统计推断则根据观测的数据，反向思考其数据生成过程。预测、分类、聚类、
估计等，都是统计推断的特殊形式，强调对于数据生成过程的研究。
　　统计学冲锋在应用第一线，概率论提供武器

３、统计学与机器学习的关系

1、统计学习近似等于机器学习。因 为机器学习中的大多数方法来自统计学比如：
聚类、贝叶斯等等，统计学的发展促进机器学习的繁荣昌盛；当然机器学习还有
很多其他的方法，如神经网络（更小范围）、 SVM。
2、区别在于：统计学习者重点关注的是统计模型的发展与优化，偏数学，而机
器学习者更关注的是能够解决问题，偏实践，因此机器学习研究者会重点研究学
习算法在计算机上执行的效率与准确性的提升。

四、统计学的分类

统计可以分为：描述统计学与推断统计学

描述统计学：

　　使用特定的数字或图表来体现数据的集中程度和离散程度。例
如：统计学生考试各个分段的人数分布等
ａ、什么是描述性统计：
　　描述性统计是指将调查样本中的包含的大量数据资料进行整理、概况和计算。
是推断性统计的基础，是以揭示数据分布特性的方式汇总并表达定量数据的方法。
　　描述性统计主要包括数据的频数分析、数据的集中趋势分析、数据离散程度
分析、数据的分布、以及一些基本的统计图形。
b、常见的描述性统计方法：
常见的描述性统计方法可分为三类：用数据的统计量来描述，如：均值、标准差等；
用图示技术来描述，如：直方图、散布图、趋势图、排列图、条形图和饼分图等；用文字
语言分析和描述，如：统计分析表、分层、因果图、亲和图和流程图等。
ｃ、 均值与中位数与众数的概念及计算：

１、集中趋势（ central tendency）概念：在统计学中是指一组数据向某一中心值
靠拢的程度，它反映了一组数据中心点的位置所在。 表示一个机率分布的中间值。
最常见的几种集中趋势包括算数平均数、中位数及众数。

２、集中趋势的几种形式
（ 1）均值：算术平均值，描述平均水平
公式如下：u=1N∑Ni=1Xi=1N(X1+X2+…+XN)$u={\displaystyle \frac{1}{N}}\sum _{i=1}^N{X}_i={\displaystyle \frac{1}{N}}(X_1+X_2+\dots +X_N)$
举例：班级5名学员参加竞赛，考试分数如下，求均值？

学员１	学员２	学员３	学员４	学员５
55	88	66	77	99

u=15(55+88+66+77+99=77)$u={\displaystyle \frac{1}{5}}(55+88+66+77+99=77)$

（ 2）中位数：将数字排成有序，正中间的数描述中等水平
　　先排序，若总个数为奇数则中位数为(N总个数+1)/2位置上的数；
若总个数为偶数，则中位数为N/2和N/2+1位置上的数的平均数
举例１：班级5名学员参加竞赛，考试分数如下，求中位数？

学员１	学员２	学员３	学员４	学员５
55	88	66	77	99

I. 先排序： 55 66 77 88 99
II. 找出中间位置的数→ 77
举例２：班级6名学员参加竞赛，考试分数如下，求中位数？

学员１	学员２	学员３	学员４	学员５	学员６
55	88	66	77	99	100

I. 先排序： 55 66 77 88 99 100
II. 找出中间位置的数→ 77 88 中位数为(77+88)/2=82.5

（ 3）众数：数据中出现最多的数
众数：一组数据中，可能会存在多个众数，也可能不存在众数
（ 1）举例： 1 2 2 3 3 中的众数是2和3
（ 2）举例： 1 2 3 4 5 中没有众数
（ 3）众数不仅适用于数值型数据，对于非数值型数据也同样适用

（4）、 均值与中位数与众数区别

均值	中位数	众数
易受极端值影响	不受极端值影响	不受极端值影响
具有唯一性	具有唯一性	具有不唯一性
是一个通过计算得到的，不是数据中的原始数据	是一个不完全“虚拟”的数	是一组数据中的原数据
数据分布对称或接近对称时使用	数据分布偏移程度较大时应用	数据分布偏移程度较大且有明显峰值时应用

（5）、 均值与中位数与众数关系图

左偏 ： 中位数在众数的左边
右偏 ： 中位数在众数的右边

3、极差、 方差与标准差的概念及计算
　　当数据的分布比较分散时用集中趋势的几种形式来衡量数据特征已不合适了。
举例如下： A={1,2,5,8,9} B=｛ 3,4,5,6,7｝
计算平均值都是5

1、极差：
（ 1）作用：极差值大的表示数据分散，可以用来描述离散程度
（ 2）计算方式：最大值-最小值
（ 3）举例1： A={1,2,5,8,9} B=｛ 3,4,5,6,7｝
A极差值： 9-1=8 B极差值： 7-3=4
【缺陷】 若A——1 2 5 8 9 C——1 4 5 6 9 与上例题极差值相
同所以区别不了离散程度。

2、方差
（ 1）公式：a2=1N∑Ni=1(Xi−u)2$a^2={\displaystyle \frac{1}{N}}\sum _{i=1}^N(X_i-u{)}^2$
（ 2）性质：使用方差来描述数据的离散程度，数据越大越离散
（ 3）举例1： A={1,2,5,8,9} B={3,4,5,6,7}

结论： A数据分布比B数据分布更加离散
（ 4）举例2： A={1,2,5,8,9} C={1,4,5,6,9}

结论： A数据分布比B数据分布更加离散， C数据分布比B数据分布更加离散
（ 5）方差公式也可以变形为：

a2=1N∑i=1NXi2−u2$$a^2={\displaystyle \frac{1}{N}}\sum _{i=1}^N{X}_i{}^2-u^2$$

3、标准差
（ 1）使用原因： 由于方差是数据的平方，与检测值本身相差太大，人们难以直观的衡
量，所以常用方差开根号换算回来这就是我们要说的标准差。
（ 2）公式：

x=1N∑i=1NXi2−u2−−−−−−−−−−−−⎷$$x=\sqrt{{\displaystyle \frac{1}{N}}\sum _{i=1}^N{X}_i{}^2-u^2}$$

（ 3）举例： A={1,2,5,8,9} C={1,4,5,6,9} 则

aA=a2−−√=10−−√=3.162$$a_A=\sqrt{a^2}=\sqrt{10}=3.162$$

aC=a2−−√=6.8−−−√=2.607$$a_C=\sqrt{a^2}=\sqrt{6.8}=2.607$$