R在时间序列距离计算期间内存不足

Question

问题描述

我有 45000 个短时间序列（长度为 9），想计算聚类分析的距离。我意识到这将导致（下三角形）一个大小为 45000x45000 的矩阵，一个包含超过 20 亿个条目的矩阵。不出所料，我得到：

> proxy::dist(ctab2, method="euclidean")
Error: cannot allocate vector of size 7.6 Gb

我能做什么？

想法

• 以某种方式增加可用/可寻址内存？但是，这些7.6G可能超出了一些无法扩展的硬限制？在任何情况下，系统都有 16GB 内存和相同数量的交换。 R 中的“Gb”似乎是指 Gigabyte，而不是 Gigabit，因此 7.6Gb 让我们已经危险地接近硬限制。
• 也许一种不同的距离计算方法而不是欧几里得，比如 DTW，可能更节省内存？但是，如下所述，内存限制似乎是生成的矩阵，而不是计算时所需的内存。

• 将数据集分成 N 个块并计算 N^2 个部分的矩阵（实际上只有那些与下三角形相关的部分），然后可以重新组合？ （这可能看起来类似于here 提出的类似问题的解决方案。）不过，这似乎是一个相当混乱的解决方案。此外，我最终还是需要 45K x 45K 矩阵。然而，这似乎达到了极限。系统在生成45K x 45K随机矩阵时也给出了内存分配错误：

  > N=45000; memorytestmatrix <- matrix( rnorm(N*N,mean=0,sd=1), N, N) Error: cannot allocate vector of size 15.1 Gb

  30K x 30K 矩阵可能没有问题，R 给出的结果大小为

  > print(object.size(memorytestmatrix), units="auto") 6.7 Gb

  似乎多了 1 Gb，一切都会好起来的。可悲的是，我没有任何可以删除以腾出空间的大型对象。此外，具有讽刺意味的是，

  > system('free -m') Warning message: In system("free -m") : system call failed: Cannot allocate memory

  我不得不承认我不确定为什么 R 拒绝分配 7.6 Gb；系统当然有更多的内存，虽然不多。 ps aux 将 R 进程显示为单个最大的内存用户。即使有更多可用内存，R 可以处理多少内存也可能存在问题？

相关问题

• 其他与 R 内存不足相关的问题的答案，例如 this one，建议使用内存效率更高的计算方法。
• This very helpful answer 建议删除其他大对象，为内存密集型操作腾出空间。
• Here，建议拆分数据集并按块计算距离的想法。

软件和版本

R 版本是 3.4.1。系统内核为 Linux 4.7.6，x86_64（即 64 位）。

> version
           _                           
platform       x86_64-pc-linux-gnu         
arch           x86_64                      
os             linux-gnu                   
system         x86_64, linux-gnu           
status                                     
major          3                           
minor          4.1                         
year           2017                        
month          06                          
day            30                          
svn rev        72865                       
language       R                           
version.string R version 3.4.1 (2017-06-30)
nickname       Single Candle 

编辑（8 月 27 日）：更多信息

• 将 Linux 内核更新到 4.11.9 无效。
• bigmemory 包也可能内存不足。它使用/dev/shm/ 中的共享内存，系统默认情况下（但取决于配置）允许 RAM 的一半大小。您可以在运行时通过（例如）mount -o remount,size=12Gb /dev/shm 来增加它，但这可能仍然不允许使用 12Gb。 （不知道为什么，可能内存管理配置不一致）。另外，you may end up crashing your system if you are not careful。
• R 显然实际上允许访问完整的 RAM，并且可以创建达到该大小的对象。对于特定功能，例如dist，它似乎失败了。我将添加此作为答案，但我的结论有点基于猜测，所以我不知道这在多大程度上是正确的。

Answer 1

R 显然实际上允许访问整个 RAM。这工作得很好：

N=45000; memorytestmatrix <- matrix(nrow=N, ncol=N)

这与我之前在原始问题中描述的尝试相同，但使用的是 NA 矩阵而不是 rnorm 随机变量。将矩阵中的一个值重新分配为浮点 (memorytestmatrix[1,1]<-0.5) 仍然有效，并将矩阵重铸为浮点矩阵。

因此，我想，你可以有一个这样大小的矩阵，但你不能像 dist 函数尝试那样做。一种可能的解释是，该函数使用该大小的多个对象进行操作，以加快计算速度。但是，如果您按元素计算距离并就地更改值，则此方法有效。

library(mefa)     # for the vec2dist function

euclidian <- function(series1, series2) {
    return((sum((series1 - series2)^2))^.5)
}

mx = nrow(ctab2)
distMatrixE <- vec2dist(0.0, size=mx)
for (coli in 1:(mx-1)) {
    for (rowi in (coli+1):mx) {
        # Element indices in dist objects count the rows down column by column from left to righ in lower triangular matrices without the main diagonal. 
        # From row and column indices, the element index for the dist object is computed like so:
        element <- (mx^2-mx)/2 - ((mx-coli+1)^2 - (mx-coli+1))/2 + rowi - coli
        # ... and now, we replace the distances in place
        distMatrixE[element] <- euclidian(ctab2[rowi,], ctab2[coli,])
    }
}

（请注意，dist 对象中的寻址有点棘手，因为它们不是矩阵，而是大小为 (N²-N)/2 的一维向量重铸为大小为下三角矩阵N x N。如果我们以正确的顺序遍历行和列，也可以使用计数器变量来完成，但我想显式计算元素索引更清晰。）

还请注意，可以通过一次计算多个值来使用sapply 来加快这一速度。

Answer 2

存在一些很好的算法，它们不需要内存中的完整距离矩阵。

例如，SLINK 和 DBSCAN 和 OPTICS。