【发布时间】:2013-05-15 20:34:21
【问题描述】:
我尝试使用 numpy.random.multivariate_normal 对 30000 多个变量进行随机抽样,但它总是占用我所有的内存 (32G) 然后终止。实际上,相关性是球形的,每个变量只与大约 2500 个其他变量相关。是否有另一种方法来指定球面协方差矩阵,而不是完整的协方差矩阵,或者任何其他方式来减少内存的使用?
我的代码是这样的:
cm = [] #covariance matrix
for i in range(width*height):
cm.append([])
for j in range(width*height):
cm[i].append(corr_calc()) #corr is inversely proportional to the distance
mean = [vth]*(width*height)
cache_vth=numpy.random.multivariate_normal(mean,cm)
【问题讨论】:
-
你能发布你的代码吗?
-
从这个和你的另一个问题我开始看到你所拥有的不是球面协方差矩阵。球面协方差矩阵的对角线上的所有项都相等,对角线外的所有元素都为零。我在这里猜测,但似乎矩阵的每一行中只有大约 2500 个 30000 个元素是非零的。这个对吗?使用坐标变化和 scipy 的 sparse 模块可以做你想做的事,但需要更多关于协方差矩阵实际结构的信息。
-
是的,每行有 2500 个非零元素。虽然,这只是问题的简化。整个问题是这样的:有一个 512X512 的变量数组,每个变量都与 256 半径内的邻居相关,并且相关系数与距离成反比。所以我试着把这个数组看成一个大小为512x512=262144的一维数组,并为其构建
cm(大小为262144x262144),然后做一个多元随机样本。