【问题标题】:Why mat files size on hardisk and in matlab differs?为什么硬盘上的mat文件大小和matlab中的不同?
【发布时间】:2015-04-23 08:02:39
【问题描述】:

我无法理解以下场景。

活动监视器上的初始 Matlab 内存(在 Mac 上)= 969.4MB

当我加载包含 80x60x13x15238 图像的 .mat 文件时,这些图像在硬盘上显示大小为 2.1 GB。 Activity Monitor 的内存使用量达到 7.80GB,压缩内存为 172.6MB。

当我开始模拟时,内存使用达到 8.22GB,压缩内存达到 6.13 GB。

我有 3 个问题? 1) 为什么 2.1 GB 数据的内存使用率如此之高? 2)我怎样才能减少它或哪种格式最好,它可能会占用更少的内存? 3)如果有其他格式,加载和使用速度是否快?

问候。

【问题讨论】:

  • 所以这是一个大矩阵?什么数据类型? whos 打印出什么?
  • @Daniel Name = mymat, Size = 4-D, Bytes = 7606809600 Class=double,

标签: matlab memory mat-file


【解决方案1】:
  1. 您正在处理 7.08 GiB 的数据,Mat-File 的大小为 2.1 GiB,因为它是 gzip 压缩的 HDF5 文件。
  2. 您正在加载 7.08 GiB 的数据,这需要 7.08 GiB 的内存
  3. 您使用了正确的格式。您的数据太大了。

【讨论】:

  • 好的,我的问题的第一部分很清楚,.现在你能指导我一些关于第二部分和第三部分的方法吗?
  • 您的原始数据是 7.08 GiB,这不是 Matlab 造成的大小。 80x60x13x15238x64 位就是这么大。如果要加载那么多双精度值,则需要 7.08 GiB 的内存。您真的需要一次将所有数据存储在内存中吗?
  • 我需要 80x60x13 作为一个输入,它是一个神经网络。其中读取了所有 15238 个样本。所以有些我需要所有这些,但所有数据都保存在一个文件中。我必须阅读这 15238 个样本几个时期,直到误差最小化为零或尽可能多。
猜你喜欢
  • 2017-10-10
  • 1970-01-01
  • 1970-01-01
  • 2021-11-27
  • 2016-02-07
  • 2011-04-26
  • 2016-10-15
  • 2020-08-15
  • 1970-01-01
相关资源
最近更新 更多