Python生成滚动窗口来计算相关性

Question

我有一个大熊猫数据框（97165 行和 2 列），我想为每 100 行计算并保存这些列之间的相关性我想要这样的东西：

第一个相关 --> 从 0 到 100 的行 --> corr = 0.265

第二个相关 --> 从 1 到 101 的行 --> corr = 0.279

第三次相关 --> 2 到 102 的行 --> corr = 0.287

每个值都必须存储并显示在绘图中，因此我必须将所有这些值保存在列表或类似的东西中。

我一直在阅读与滚动窗口相关的 pandas 文档 pandas rolling window 但我什么也没做。 我试图生成一个简单的循环来获得一些结果，但我遇到了内存问题，我尝试过的代码是：

lcl = 100
a = []
for i in range(len(tabla)):

    x = tabla.iloc[i:lcl, [0]] 
    y = tabla.iloc[i:lcl, [1]]
    z = x['2015_Avion'].corr(y['2015_Hotel'])
    a.append(z) 
    lcl += 1

有什么建议吗？

Answer 1

我们可以通过处理数组数据来优化内存和性能。

方法#1

首先，让我们有一个数组解决方案来获取两个1D 数组之间对应元素的相关系数。这基本上是受到this post 的启发，看起来像这样 -

def corrcoeff_1d(A,B):
    # Rowwise mean of input arrays & subtract from input arrays themeselves
    A_mA = A - A.mean(-1,keepdims=1)
    B_mB = B - B.mean(-1,keepdims=1)

    # Sum of squares
    ssA = np.einsum('i,i->',A_mA, A_mA)
    ssB = np.einsum('i,i->',B_mB, B_mB)

    # Finally get corr coeff
    return np.einsum('i,i->',A_mA,B_mB)/np.sqrt(ssA*ssB)

现在，要使用它，在数组数据上使用相同的循环 -

lcl = 100
ar = tabla.values
N = len(ar)
out = np.zeros(N)
for i in range(N):
    out[i] = corrcoeff_1d(ar[i:i+lcl,0], ar[i:i+lcl,1])

我们可以通过预先计算滚动平均值来进一步优化性能，这些平均值用于计算 corrcoeff_1d 和 convolution 中的 A_mA，但首先让我们消除内存错误。

方法 #2

这是一种几乎矢量化的方法，因为我们将对大多数迭代进行矢量化，除了最后没有适当窗口长度的剩余切片。循环计数将从97165 减少到lcl-1，即仅99。

lcl = 100
ar = tabla.values
N = len(ar)
out = np.zeros(N)

col0_win = strided_app(ar[:,0],lcl,S=1)
col1_win = strided_app(ar[:,1],lcl,S=1)
vectorized_out = corr2_coeff_rowwise(col0_win, col1_win)
M = len(vectorized_out)
out[:M] = vectorized_out

for i in range(M,N):
    out[i] = corrcoeff_1d(ar[i:i+lcl,0], ar[i:i+lcl,1])

辅助函数 -

# https://stackoverflow.com/a/40085052/ @ Divakar
def strided_app(a, L, S ):  # Window len = L, Stride len/stepsize = S
    nrows = ((a.size-L)//S)+1
    n = a.strides[0]
    return np.lib.stride_tricks.as_strided(a, shape=(nrows,L), strides=(S*n,n))

# https://stackoverflow.com/a/41703623/ @Divakar
def corr2_coeff_rowwise(A,B):
    # Rowwise mean of input arrays & subtract from input arrays themeselves
    A_mA = A - A.mean(-1,keepdims=1)
    B_mB = B - B.mean(-1,keepdims=1)

    # Sum of squares across rows
    ssA = np.einsum('ij,ij->i',A_mA, A_mA)
    ssB = np.einsum('ij,ij->i',B_mB, B_mB)

    # Finally get corr coeff
    return np.einsum('ij,ij->i',A_mA,B_mB)/np.sqrt(ssA*ssB)

---

NaN 填充数据的相关性

接下来列出了基于 Pandas 的相关计算的 NumPy 解决方案，用于计算一维数组和逐行相关值之间的相关性。

1) 两个一维数组之间的标量相关值 -

def nancorrcoeff_1d(A,B):
    # Get combined mask
    comb_mask = ~(np.isnan(A) & ~np.isnan(B))
    count = comb_mask.sum()

    # Rowwise mean of input arrays & subtract from input arrays themeselves
    A_mA = A - np.nansum(A * comb_mask,-1,keepdims=1)/count
    B_mB = B - np.nansum(B * comb_mask,-1,keepdims=1)/count

    # Replace NaNs with zeros, so that later summations could be computed    
    A_mA[~comb_mask] = 0
    B_mB[~comb_mask] = 0

    ssA = np.inner(A_mA,A_mA)
    ssB = np.inner(B_mB,B_mB)

    # Finally get corr coeff
    return np.inner(A_mA,B_mB)/np.sqrt(ssA*ssB)

2) 两个2D 数组(m,n) 之间的逐行相关性给我们一个1D 形状(m,) 的数组-

def nancorrcoeff_rowwise(A,B):
    # Input : Two 2D arrays of same shapes (mxn). Output : One 1D array  (m,)
    # Get combined mask
    comb_mask = ~(np.isnan(A) & ~np.isnan(B))
    count = comb_mask.sum(axis=-1,keepdims=1)

    # Rowwise mean of input arrays & subtract from input arrays themeselves
    A_mA = A - np.nansum(A * comb_mask,-1,keepdims=1)/count
    B_mB = B - np.nansum(B * comb_mask,-1,keepdims=1)/count

    # Replace NaNs with zeros, so that later summations could be computed    
    A_mA[~comb_mask] = 0
    B_mB[~comb_mask] = 0

    # Sum of squares across rows
    ssA = np.einsum('ij,ij->i',A_mA, A_mA)
    ssB = np.einsum('ij,ij->i',B_mB, B_mB)

    # Finally get corr coeff
    return np.einsum('ij,ij->i',A_mA,B_mB)/np.sqrt(ssA*ssB)

Answer 2

你提到尝试rolling。那到底出了什么问题？这对我有用：

my_res = tabla['2015_Avion'].rolling(100).corr(tabla['2015_Hotel'])

my_res 将具有 NaN 值，直到其 100th 值，因此 my_res[99] 应该是行 0 和行 99 两列元素之间的相关性，这将由 @ 返回987654329@ corr 函数仅应用于子集。 my_res[100] 是行 1 和行 100 元素之间的相关性。