【问题标题】:check if MAT file is corrupt without load检查 MAT 文件是否在没有加载的情况下损坏
【发布时间】:2016-11-14 11:22:05
【问题描述】:

我有一个由大量.mat 文件组成的数据集。每个.mat 文件都相当大,即加载它们非常耗时。不幸的是,其中一些已损坏,load('<name>') 在这些文件上返回错误。我已经实现了一个 try-catch 例程来确定哪些文件已损坏。但是,考虑到只有少数文件损坏的情况,加载每个文件并检查它是否损坏需要时间。有什么方法可以在不使用load('<name>') 的情况下检查.mat 文件的运行状况?

我在任何地方都找不到这样的解决方案。

【问题讨论】:

  • try 可以帮助我认为
  • @shamalaia 如果我在try 中使用load,则需要时间。我正在寻找不使用load 的解决方案来节省时间。

标签: matlab corruption mat-file


【解决方案1】:

matfile 函数用于访问 MAT 文件中的变量,而无需将它们加载到内存中。通过将 try-catch 例程更改为使用 matfile 而不是 load,可以减少将大文件加载到内存中的开销。

由于matfile 似乎只在读取损坏的文件时发出警告,因此您必须检查是否发出了此警告。这可以使用lastwarn:在调用matfile之前清除lastwarn,并检查之后是否发出警告:

lastwarn('');
matfile(...);
[~, warnId] = lastwarn;
if strcmp(warnId, 'relevantWarningId')
    % File is corrupt
end

您必须首先找出相关的警告 ID,方法是在损坏的文件上运行上述代码,然后保存 warnId。

更强大的解决方案是在创建文件时计算文件的校验和或哈希(例如 MD5),并在读取文件之前比较此校验和。

【讨论】:

  • 我用损坏的 MAT 文件确认 matfile() 无法检测到损坏。只有当您访问 matfile 对象内的变量时,它才会报错。因此,简单地在 try-catch 中使用 matfile() 是行不通的,因为 try-catch 只捕获错误。但好消息是matfile() 在读取损坏的文件时确实会发出警告。如果我们能找到一种方法让 try-catch 例程捕获警告,那是最好的选择。另外,我发现您的 aliter 解决方案(使用哈希值)非常强大。谢谢你的回答。
  • 感谢您的反馈。我用“捕捉”警告的解决方案扩展了我的答案。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-04-30
  • 1970-01-01
  • 1970-01-01
  • 2012-10-27
  • 2020-10-31
  • 1970-01-01
  • 2017-10-26
相关资源
最近更新 更多