通过使用 R 中的数组（而不是列表、data.frame、data.table）可以节省多少 RAM（内存）？

Question

描述这种节省/差异的一般公式是什么？

计算需要考虑的项目：

• 数组维数（标识列）
• 每个维度的大小（每个标识列中的唯一元素）
• 维度大小的乘积（数组元素的数量，上述的唯一组合）
• 每个维度的每个元素的class()，当以二维而不是数组格式存储时（字符、整数、整数64、因子、双精度，很可能还有其他）

我正在为 R 包（半内部包）中的函数编写文档，我想充分描述这一点。根据我（或你！）可以在这里提出的建议，我什至可以编写一个函数来计算这种差异，这样用户就可以在两种方式都尝试之前看到节省的成本（数据集非常大！）。

编辑：

# starting object  
d2 <- data.table(v=rnorm(10)) 
d2[,c("a","b","d","e"):=replicate(4, sample(1:20, 10), simplify=FALSE)]
setkey(d2, a, b, d, e)

# two casts to compare
d2.cast <- d2[CJ(a,b,d,e)] # 2D structure
dN.cast <- reshape2::acast(d2, a~b~d~e, value.var="v") # N-D structure

# compare sizes
print(object.size(d2.cast), units="Kb")
print(object.size(dN.cast), units="Kb")

打印(object.size(d2.cast), units="Kb")
236.4 KB
打印（object.size（dN.cast），单位=“Kb”）
81 KB

如果我使用了糟糕的术语，请更正它。我想更好地描述这种情况:)

Answer 1

您应该能够通过prod(dim(ar)) * 字节数来计算数组的大小。
如果您的数据必须保留所有交叉维度的值（因此 data.table 中的 CJ）并且只有一个度量值，那么最好使用数组。
另一方面，拥有二维数据，您可以从所有冗余维度交叉中删除 NA 值。它可以显着减少所需的 RAM 量，在许多情况下允许多维数据扩展到足以进行分析。
与数组不同，2D 建模数据可以存储多个度量值。
2D 在分区和分布式计算方面看起来更友好。

所以它完全取决于数据，但在大多数情况下，IMO 数组根本无法扩展，而 2D 表或 星型模式 2D 表集可以很好地扩展。
如果您想更深入地了解这一点，可以查看我的开发包 data.cube，该包旨在使用 star schema 建模的 data.table 扩展多维数据。

---

另外将星型模式定义为存储和处理多维数据的简单工具。

星型模式的中心对象，一个事实表：

#      prod_name  time_date geog_abb amount     value
# 1: AMC Javelin 2010-01-02       AK  23.64 5193.2088
# 2: AMC Javelin 2010-01-02       MD  88.02 1559.0968

指的是 3D 数组，其中维度是产品时间和地理，以及两个度量。
数组不驱动维度的属性层次结构，它只是字符自然键或整数索引。
表格结构允许为事实表中的每个维度键创建查找表。
生成3维表：

$dims$product
#              prod_name prod_cyl prod_vs prod_am prod_gear
# 1:         AMC Javelin        8       0       0         3
# 2:  Cadillac Fleetwood        8       0       0         3

$dims$time
#     time_date time_month time_month_name time_quarter time_quarter_name time_year
# 1: 2010-01-01          1         January            1                Q1      2010
# 2: 2010-01-02          1         January            1                Q1      2010

$dims$geography
#    geog_abb      geog_name geog_division_name geog_region_name
# 1:       AK         Alaska            Pacific             West
# 2:       AL        Alabama East South Central            South
# 3:       AR       Arkansas West South Central            South

稍后在访问数据时，您可以参考更高级别的属性来分析您的数据，该工具会自动处理连接。
这是基本的星型模式，也是从所有维度的叉积中删除 NA 值的简单方法。
在每个维度中定义层次结构后，您可以做更多事情。
在data.cube 包中，您可以使用populate_star(1e5) 生成销售事实表和5 个维度。

---

最后一节的包 vignette Subset multidimensional data 中提供的内存消耗测试很少。