本节分享主要是关于描述数据分布的特征,学习笔记如下:
-
数据的分布
描述数据分布包括数据的集中趋势,离中趋势,偏态和峰态。 -
集中趋势
集中趋势是一组平均指标,它反映了总体的一般水平或分布,测定集中趋势的平均指标包括:平均数、中位数和众数。
平均数包括简单平均数(均值),加权平均数和几何平均数。
平均数的特点:
平均数是集中趋势最常用的测量值;
它是一组数据的均衡点所在;
平均数容易受极端值的影响;
平均数用于数值型数据,不能用于分类数据和顺序数据。
各类平均数的计算在此处就省略了哦,请自行百度吧。
中位数的特点:
排序后处于中间位置上的值;
主要用于顺序数据,也可以用于数值型数据,但是不能用于分类数据;
不受极端值的影响。
众数:一组数据中出现次数最多的数据值
众数的特点:
一组数据可能没有众数或有几个众数;
众数适用于数据量较多并且在数据分布偏斜程度较大且有明显峰值时应用;
- 离中趋势
离中趋势是一组变异指标,它主要是用来刻画总体分布的变异状况或离散程度,测定离中趋势的指标有极差、平均差、四分位差、标准差、方差以及变异系数等
极差:一组数据的最大值与最小值之差,极差越大,离散程度越大,反之,离散程度越小。
极差的特点:
离散程度最简单的测度值;
容易受极端值的影响;
未考虑数据的分布。
平均差:各变量与均值的差的平均数,即平均差异,反映一组数据的离散程度。
平均差的特点:
各变量与均值的差的绝对值的平均数;
反映一组数据的离散程度;
数学性质较差,实际应用较少;
未考虑数据的分布。
方差与标准差:
方差反映的是各变量与均值的差的平均差异,是数据离散程度最常用的测度值。标准差是方差的算术平方根,它也是数据离散程度常用的测度。
方差分为总体方差和样本方差。
变异系数:是标准差与其对应的均值之比,用于对比不同组别的数据,笔记其离散程度。变异系数消除了数据的水平高低和计量系数的差异。
- 偏态和峰态
偏态和峰态是反映总体分布形态的指标,偏态反映数据分布不对称的方向和程度,峰态反映数据分布图形的尖峭程度或者扁平程度。
偏态系数的特征:
它是数据分布偏斜程度的测度;
偏态系数等于0时,对称分布;
偏态系数大于0时,为右偏分布;小于0时,为左偏分布。
峰态系数的特征:
它是数据分布尖峭程度的测度;
峰态系数等于0时,峰度适中;
峰态系数大于0时,为尖峰分布;小于0时,为偏平分布。
- 数据标准化:能够去除数据的单位限制,将其转化为无单位的纯数值,便于不同单元或量级的指标能够进行比较和加权。
数据标准化常用方法:
(1)0-1标准化,也叫离差标准化,是对原始数据进行线性变换,使结果落到[0,1]区间。
(2)暴力的方法,直接将数据同时除以100倍,1000倍或者更多。
(3)2-score标准化,也叫标准差标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1。