XTS 大小限制

Question

我最近一直在处理大型数据集（超过 40 万行）。到目前为止，我一直在使用 XTS 格式，它适用于包含几万个元素的“小型”数据集。

随着项目的发展，R 在检索数据库数据并将其放入 XTS 时会崩溃。

据我了解，R 应该能够拥有大小不超过 2^32-1 个元素（或根据版本为 2^64-1）的向量。因此，我得出的结论是 XTS 可能有一些限制，但我在文档中找不到答案。 （也许我对理论上可能的向量大小的理解有点过分自信）。

总结一下，我想知道是否：

1. XTS 确实有大小限制
2. 您认为处理大型时间序列最聪明的方法是什么？ （我正在考虑将分析拆分为几个较小的数据集）。
3. 我没有收到错误消息，R 只是自动关闭。这是一种已知行为吗？

解决方案

1. 与 R 相同，它取决于所使用的内存类型（64 位、32 位）。无论如何它都非常大。
2. 分块数据确实是个好主意，但不是必需的。
3. 此问题来自 R 2.11.0 中的一个错误，该错误已在 R 2.11.1 中解决。长日期向量（此处为 XTS 的索引）存在问题。

Answer 1

关于你的两个问题，我的 0.02 美元：

1. 是的，R 向量有 2^32-1 个元素的限制。这来自索引逻辑，据报道，它在 R 中足够“深入”，不太可能很快被替换（因为它会影响很多现有代码）。谷歌 r-devel 列表了解详情；这以前出现过。 xts 包没有施加额外的限制。

2. 是的，将事物分成可管理的块是最聪明的方法。当我专门使用 32 位版本的 R 时，我曾经在大型数据集上这样做。我现在使用 64 位 R 并且不再有这个问题（和/或保持我的数据集健全），

有一些“内存不足”的方法，但我会首先尝试重新考虑问题并确认您确实需要一次所有 400k 行。