使用 scipy.stats 和 pandas 计算相关性及其统计意义答案

【问题标题】：Calculating correlations and its statistical significance with scipy.stats and pandas使用 scipy.stats 和 pandas 计算相关性及其统计意义
【发布时间】：2019-01-06 21:08:54
【问题描述】：

我正在使用 Pandas 库进行一些数据分析。我正在测试属性之间的相关性。所以我使用 Pandas 库的.corr() 函数计算了相关性。我还想计算这种相关性的统计显着性。我已经问了一个问题here。 Pandas 库好像没有这个功能。

有人建议我使用scipy.stats。

from scipy.stats import pearsonr

pearsonr 是计算 pearson 相关性的函数，这正是 .corr() 的功能，只是它还返回了重要性，这就是我所追求的。

pearsonr 无法处理 Na/null 值。所以我使用 .dropna() 摆脱它们。这将删除更多示例。

在我的原始 csv 文件中，NA/空值有更多的词，我在打开文件时考虑了这一点：

data = pd.read_csv(player, sep=',', na_values=['Did Not Dress','Did Not Play','Inactive','Not With Team'], index_col=0)

.corr() 处理缺失缺失值本身。问题是为什么.dropna() 删除了太多示例。有些值是 0 或 0.00（百分比），但出于我的目的，不应将其排除在外。

.csv 文件中的几行：

Rk,G,Date,Age,Tm,,Opp,,GS,MP,FG,FGA,FG%,3P,3PA,3P%,FT,FTA,FT%,ORB,DRB,TRB,AST,STL,BLK,TOV,PF,PTS,GmSc,+/-
1,1,2017-10-18,32-091,SAS,,MIN,W (+8),1,38:49,9,21,.429,1,2,.500,6,7,.857,5,5,10,4,0,2,3,2,25,18.9,+15
2,2,2017-10-21,32-094,SAS,@,CHI,W (+10),1,32:46,12,24,.500,0,2,.000,4,4,1.000,5,5,10,3,1,2,1,2,28,23.7,+13
3,3,2017-10-23,32-096,SAS,,TOR,W (+4),1,36:17,7,16,.438,0,1,.000,6,7,.857,3,5,8,3,1,1,2,3,20,15.4,+10
4,4,2017-10-25,32-098,SAS,@,MIA,W (+17),1,38:09,12,20,.600,1,1,1.000,6,7,.857,1,6,7,1,2,1,2,4,31,23.7,+16
5,5,2017-10-27,32-100,SAS,@,ORL,L (-27),1,29:30,9,14,.643,1,2,.500,5,5,1.000,4,7,11,0,0,1,1,0,24,22.4,-20
6,6,2017-10-29,32-102,SAS,@,IND,L (-3),1,36:24,10,21,.476,1,2,.500,5,7,.714,3,5,8,0,0,1,1,3,26,16.6,-15
7,7,2017-10-30,32-103,SAS,@,BOS,L (-14),1,26:00,5,13,.385,0,2,.000,1,5,.200,3,2,5,2,1,1,1,1,11,6.7,-19
8,8,2017-11-02,32-106,SAS,,GSW,L (-20),1,35:54,8,22,.364,2,4,.500,6,8,.750,5,5,10,2,2,2,2,3,24,17.6,-15

【问题讨论】：

标签： python pandas scipy correlation significance

【解决方案1】：

您可能希望提取要计算 Pearson 相关系数的两列，并使用 Numpy isnan 函数删除空值。

x = data.column_1.values
y = data.column_2.values
mask = ~numpy.isnan(x) * ~numpy.isnan(y)
x, y = x[M), y[M]
rvalue, pvalue = scipy.stats.pearsonr(x, y)

在此之前，您可以根据它们在其他列上的值排除某些行。

【讨论】：