我正在处理原始成像质谱数据。这种数据与传统的图像文件非常相似，除了不是 3 个颜色通道，我们有对应于我们正在测量的离子数量（在我的例子中为 300）的通道。数据最初以专有格式存储，但可以导出为 .txt 文件作为表格，格式如下：
x, y, z, i（强度），m（质量）
您可以想象，这些文件可能很大。典型的图像可能是 256 x 256 x 20，即 1310720 像素。如果每个都有 300 个质量通道，则这将给出一个包含 393216000 行和 5 列的表。这是巨大的！因此不适合记忆。即使我选择较小的数据子集（例如单个质量），文件的处理速度也很慢。相比之下，专有软件能够非常快速地加载和处理这些文件，例如只需一两秒钟即可将文件打开到内存中。
我希望我已经说清楚了。谁能解释一下？包含基本完全相同数据的两个文件怎么会具有如此不同的大小和速度？如何更快地处理图像数据矩阵？
【问题讨论】：
标签： r performance image-processing matrix
谁能解释一下？
是的
两个包含基本相同数据的文件怎么会有如此不同的大小和速度？
R 使用双精度数是默认数字类型。因此，数据帧的存储空间约为 16Gb。专有软件很可能使用浮点作为底层类型，从而将内存需求减少到 8Gb。
如何更快地处理图像数据矩阵？
购买一台 32Gb 的电脑。即使是 32Gb 的计算机，考虑在 R 中使用 data.table 并通过引用完成操作，因为 R 喜欢复制数据帧。
或者您可能希望转移到 Python/pandas 进行处理，显式使用 dtype=float32
更新
如果你想留在R，看看bigmemory包，link，虽然我会说处理它不适合心软的人
【讨论】：
这个问题的答案对我的数据集来说有点深奥，而且非常具体，但其他人可能会感兴趣。我的数据非常稀疏 - 即我的矩阵中的大多数值都为零。因此，我能够使用 Matrix 包（大写重要）显着减小数据大小，该包旨在更有效地处理稀疏矩阵。为了实现这个包，我只插入了一行：
data <- Matrix(data)
节省的空间量会因数据集的稀疏性而异，但在我的情况下，我将 1.8 GB 减少到 156 Mb。 Matrix 的行为与 matrix 一样，因此无需更改我的其他代码，速度也没有明显变化。稀疏性显然是专有格式可以利用的东西。
【讨论】：