1. Chi-squared test(卡方检验/χ2检验)

1.1 概念

χ2检验是对分类数据的频数进行分析的统计方法。(统计学第六版 中国人女大学出版社 P216)

卡方检验是用途非常广的一种假设检验方法,它在分类资料统计推断中的应用,包括:两个率或两个构成比比较的卡方检验;多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。

1.2 用处

卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度,实际观测值与理论推断值之间的偏离程度就决定卡方值的大小,卡方值越大,越不符合;卡方值越小,偏差越小,越趋于符合,若两个值完全相等时,卡方值就为0,表明理论值完全符合。

 

1.3 细节

观测数组和期望数组的和保持一致时,卡方检验才有意义,sparkmllib源码中会计算观测/期望的系数;然后将期望数组*系数。观测数组和期望数组长度相同且都为正值。

 

1.4 F值公式

Chi-squared test(卡方检验/χ2检验)

Chi-squared test(卡方检验/χ2检验)

1.5 P值计算

org.apache.spark.mllib.stat. Statistics.chiSqTest

1.6 MLlib算法

Spark mllib给出了Pearson'schi-squared test算法

org.apache.spark.mllib.stat.Statistics. chiSqTest

相关文章:

  • 2022-02-28
  • 2021-06-13
  • 2021-12-16
  • 2021-10-06
  • 2021-05-28
  • 2021-12-25
  • 2021-11-04
  • 2021-12-14
猜你喜欢
  • 2022-01-02
  • 2022-01-28
  • 2022-01-02
  • 2021-08-15
  • 2021-05-25
  • 2021-12-05
  • 2022-12-23
相关资源
相似解决方案