重塑 Pearsonr 相关性答案

【问题标题】：Reshaping for Pearsonr correlation重塑 Pearsonr 相关性
【发布时间】：2018-12-12 20:41:14
【问题描述】：

在进行 pearsonr 相关时，删除和匹配数据集长度的最佳方法是什么？

我目前正在对回报运行 pearsonr 相关性，各种基本指标唯一的问题是当我有 nans 时，当我运行它时，我得到 nan 当我 dropna() 我有不同大小的数据集并得到关于形状的错误。操作数不能与形状一起广播 (469099,) (539093,)

【问题讨论】：

我知道我不能用其他值替换它们，但无论如何可以最小化列的长度，以便它们可以彼此相等
你不应该从每个数组中分别删除NaN 值，否则你会破坏观察配对并且你的相关性毫无意义。
如果您的两个数据集存储在同一个 Pandas DataFrame 的不同列中，dropna() 将（默认情况下）删除任何值为 nan 的行，这显然是您想要的。所以听起来你的数据集没有存储在单个 DataFrame 中。在这种情况下，您必须确保当您从一个数据集中删除一个值时，您也会从另一个数据集中删除相应的值。或者，将它们放在一个DataFrame的两列中，然后使用dropna()。
谢谢你，我很感激\

【解决方案1】：

不清楚您要做什么；但是，我假设您正在尝试从数据中删除“Na”，以便两组在形状上匹配。如果您正在运行 dropna()，请确保将“inplace = True”设置为参数或将其分配给数据框。

要么

df.dropna(inplace = True)

或

df = df.dropna()

【讨论】：