当分布在指数族中时，它在物理上意味着什么

Question

我这几天一直在通过斯坦福的在线讲座学习机器学习，在第 4 讲中，讲师介绍了 GLM（广义线性模型）和指数族。

x,y,p分别代表特征、预测结果、分布参数。

他得出结论，如果我们假设 P(y|x;p) 属于指数族，如果问题是二项式分类问题，即 y∈{0,1}，那么 P(1|x;p ) 是逻辑函数。

我对数学部分没意见，但我不知道当我们假设 P(y|x;p) 属于指数族时这意味着什么，这个假设成立的实际条件是什么？

我知道中心极限理论，它指出一个随机变量是 其他独立随机变量的总和，会接近高斯分布，和我的问题有关系吗？

Answer 1

指数分布族包括所有概率密度（或概率质量）函数可以根据 f(x|T) = h(x)c(T)exp(sum(w_i(T)t_i (x))) 对于变量 x 和参数向量 T，每个 w_i 只是参数的一个函数，每个 t_i 只是数据的一个函数。对我们来说，表单本身可能并不重要。

指数族包括相当多的典型概率分布：正态分布、指数分布、伽马分布、卡方分布、β 分布、狄利克雷分布、伯努利分布、分类分布、泊松分布、Wishart 和 Inverse Wishart。所以它实际上是一种非常适应大范围数据处理的形式。

那么，为什么要麻烦将其作为模型假设包含在内呢？事实证明，指数族有一大堆很好的数学属性，这些属性无疑被您使用的模型所采用。因此，简而言之，假设指数族很可能只是使数学可行的数学假设。好消息是这不是一个非常严格的假设。