目录
统计学
最大后验（Maximum A Posteriori，MAP）
最大似然估计（Maximum Likelihood，ML）
联合概率分布：Joint Distribution
条件概率分布：Conditional Distribution
多项分布：Multinomial Distribution
先验分布：Prior Distribution
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 。
histogram bin
histogram的bin就是你怎么去分histogram的意思。
比如你有个dataset是从0到100之间不等的50个数。
现在你想分组，想看着各组的频率分布。
如果用excel，它可以自动设置bin。
比如，你的50个数是：
你不在乎分成几组，也不在乎分组的bin的话，用excel自动分，结果如下：
这里bin自动设置成了14，42.333，70.6667，更多。
如果你想自己设置分组，比如你想设置成20，40，60，80，更多。在excel里自己选定bin就可以了。结果如下：
这里面的frequency就是出现的频率，所有的组的frequency加起来就刚好等于你50个数。比如上图就解释为，这50个数里面，小于20的有四个，介于20到40之间的有12个，大于80的有5个，这样解释。
Jaccard指数
也被称为并交比（Intersection over Union，简称iou）和Jaccard相似系数（Jaccard similarity coefficient）（Paul Jaccard最初创造的系数），是一个用于比较样本集的相似性和多样性的统计量。
数学
向量：vector
矩阵：matrix
矩阵行：row
矩阵列：column
转置：transposition
可微：differentiable
梯度：gradient
导数：derivative
曲率：curvature
局部极小点：local minimum
链式法则：chain rule
符号微分：symbolic differentiation
平移不变性：translation invariant
>>：可表示远大于符号
low-rank matrix：低秩矩阵
格拉姆矩阵：Gram matrix
马尔可夫决策过程 (Markov Decision Process,MDP)
点积：Dot Product，也称之为内积，Inner Product
两个相同大小的向量按分量相乘并且求和
傅里叶变换：Fourier Transform
快速傅里叶变换：Fast Fourier Transform，FFT
离散余弦变换：Discrete Cosine Transform，DCT
Round-off error: 又叫Rounding error，某一数值近似计算值与其真实值的差值
自然对数(Natural logarithm)：以e为底的对数称为自然对数（natural logarithm），并且把 记为In N。
双曲函数
双曲函数是一类与常见的三角函数（也叫圆函数）类似的函数。最基本的双曲函数是双曲正弦函数sinh和双曲余弦函数cosh，从它们可以导出双曲正切函数tanh等，其推导也类似于三角函数的推导。双曲函数的反函数称为反双曲函数。
双曲正弦（hyperbolic sine）
双曲余弦（hyperbolic cosine）
双曲正切（hyperbolic tangent）
插值
在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。 插值是离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。 插值：用来填充图像变换时像素之间的空隙。
“格”
一种特殊的偏序集。在许多数学对象中，所考虑的元素之间具有某种顺序。
例如，一组实数间的大小顺序；一个集合的诸子集（或某些子集）间按（被包含）所成的顺序 ；一组命题间按蕴涵所成的顺序；等等。这种顺序一般不是全序，即不是任意二元素间都能排列顺序，而是在部分元素间的一种顺序即偏序（半序）。偏序集和格就是研究顺序的性质及作用而产生的概念和理论。
向量范数
范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
1-范数表示向量元素绝对值之和。
2-范数表示向量元素绝对值的平方和再开方。
向量的p-范数表示的意思是向量所有元素绝对值的p次方和的1/p次幂。
矩阵的谱范数
矩阵范数是向量范数的推广。
矩阵的1-范数是列和范数，即矩阵的所有列向量绝对值之和的最大值。
矩阵的2-范数即为谱范数，是其最大的奇异值或半正定矩阵A*A的最大特征值的平方根。其中A*表示A的共轭转置。
赋范线性空间
赋范线性空间(normed linear space)是在线性空间中引进一种与代数运算相联系的度量，即由向量范数诱导出的度量
Identity function（恒等函数）
在数学里，恒等函数为一无任何作用的函数：它总是传回和其引数相同的值。换句话说，恒等函数为函数f(x) = x。
累积概率(cumulative probability)
GEMM，General Matrix Multiplication
鞍点（Saddle point）在微分方程中，沿着某一方向是稳定的，另一条方向是不稳定的奇点，叫做鞍点。在泛函中，既不是极大值点也不是极小值点的临界点，叫做鞍点。在矩阵中，一个数在所在行中是最大值，在所在列中是最小值，则被称为鞍点。