【问题标题】:Out of memory when using numpy's multivariate_normal random sampliing使用 numpy multivariate_normal 随机采样时内存不足
【发布时间】:2013-05-15 20:34:21
【问题描述】:

我尝试使用 numpy.random.multivariate_normal 对 30000 多个变量进行随机抽样,但它总是占用我所有的内存 (32G) 然后终止。实际上,相关性是球形的,每个变量只与大约 2500 个其他变量相关。是否有另一种方法来指定球面协方差矩阵,而不是完整的协方差矩阵,或者任何其他方式来减少内存的使用?

我的代码是这样的:

cm = [] #covariance matrix  
for i in range(width*height):  
    cm.append([])  
    for j in range(width*height):  
        cm[i].append(corr_calc()) #corr is inversely proportional to the distance    
mean = [vth]*(width*height)  
cache_vth=numpy.random.multivariate_normal(mean,cm)

【问题讨论】:

  • 你能发布你的代码吗?
  • 从这个和你的另一个问题我开始看到你所拥有的不是球面协方差矩阵。球面协方差矩阵的对角线上的所有项都相等,对角线外的所有元素都为零。我在这里猜测,但似乎矩阵的每一行中只有大约 2500 个 30000 个元素是非零的。这个对吗?使用坐标变化和 scipy 的 sparse 模块可以做你想做的事,但需要更多关于协方差矩阵实际结构的信息。
  • 是的,每行有 2500 个非零元素。虽然,这只是问题的简化。整个问题是这样的:有一个 512X512 的变量数组,每个变量都与 256 半径内的邻居相关,并且相关系数与距离成反比。所以我试着把这个数组看成一个大小为512x512=262144的一维数组,并为其构建cm(大小为262144x262144),然后做一个多元随机样本。

标签: python memory numpy


【解决方案1】:

如果您的相关性是球形的,这就像说沿每个维度的值与其他维度不相关,并且沿每个维度的方差相同。您根本不需要构建协方差矩阵,从 30,000 维多元法线中抽取一个样本与从一维法线中抽取 30,000 个样本相同。也就是说,而不是这样做:

n = 30000
mu= 0
corr = 1
cm = np.eye(n) * corr
mean = np.ones((n,)) * mu
np.random.multivariate_normal(mean, cm)

尝试构建cm 数组时失败,请尝试以下操作:

n = 30000
mu = 0
corr = 1
>>> np.random.normal(mu, corr, size=n)
array([ 0.88433649, -0.55460098, -0.74259886, ...,  0.66459841,
        0.71225572,  1.04012445])

如果您想要多个随机样本,比如 3 个,请尝试

>>> np.random.normal(mu, corr, size=(3, n))
array([[-0.97458499,  0.05072532, -0.0759601 , ..., -0.31849315,
        -2.17552787, -0.36884723],
       [ 1.5116701 ,  2.53383547,  1.99921923, ..., -1.2769304 ,
         0.36912488,  0.3024549 ],
       [-1.12615267,  0.78125589,  0.67133243, ..., -0.45441239,
        -1.21083007,  1.45696714]])

【讨论】:

  • 感谢您的帮助!我认为问题确实来自构建cm 数组。看起来您的代码将每个变量都视为彼此独立,对吗?而我cm 不是对角线,因为一些变量是相关的。
猜你喜欢
  • 1970-01-01
  • 2016-08-28
  • 1970-01-01
  • 2012-08-06
  • 2015-03-02
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-02-02
相关资源
最近更新 更多