`caffe': malloc(): 快照到磁盘时内存损坏答案

【问题标题】：`caffe': malloc(): memory corruption when snapshotting to disk`caffe': malloc(): 快照到磁盘时内存损坏
【发布时间】：2017-01-06 02:44:41
【问题描述】：

我正在训练一个简单的网络。由于无法运行 caffe，我决定仅在 20 张图像上进行测试。但是我无法通过以下错误消息。我已经按照其他帖子的建议重建了 caffe，但没有解决问题。

I1008 13:52:01.227901 45606 solver.cpp:454] Snapshotting to binary proto     file _iter_10.caffemodel
*** Aborted at 1475952725 (unix time) try "date -d @1475952725" if you    are using GNU date ***
PC: @     0x7f5e0130768c   caffe::BlobProto::SerializeWithCachedSizesToArray()
*** SIGSEGV (@0xd70e000) received by PID 45606 (TID 0x7f5e01e0ea00) from     PID 225501184; stack trace: ***
@     0x7f5df32c98d0 (unknown)
@     0x7f5e0130768c caffe::BlobProto::SerializeWithCachedSizesToArray()
@     0x7f5e0130d13f caffe::LayerParameter::SerializeWithCachedSizesToArray()
@     0x7f5e0130f8d7 caffe::NetParameter::SerializeWithCachedSizesToArray()
@     0x7f5dfb6fd58a (unknown)
@     0x7f5dfb6fd655 (unknown)
@     0x7f5dfb6fd7bf (unknown)
@     0x7f5dfb76815b (unknown)
@     0x7f5e01389803 caffe::WriteProtoToBinaryFile()
@     0x7f5e013a1a82 caffe::Solver<>::SnapshotToBinaryProto()
@     0x7f5e013a1b6f caffe::Solver<>::Snapshot()
@     0x7f5e013a3219 caffe::Solver<>::Step()
@     0x7f5e013a34a9 caffe::Solver<>::Solve()
@           0x409426 train()
@           0x405c83 main
@     0x7f5df2f30b45 (unknown)
@           0x406565 (unknown)
@                0x0 (unknown)
*** Error in `caffe': malloc(): memory corruption: 0x000000000d4ceac0 ***

我感觉它是由我的求解器文件引起的。这是我的求解器。

net: "/X/train.prototxt"
test_iter: 5
test_interval: 5
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
lr_policy: "step"
stepsize: 5
gamma: 0.1
power: 0.75
display: 5
max_iter: 20
snapshot: 10
snapshot_prefix: "/X/A"
solver_mode: GPU

你发现我的求解器有什么问题吗？

干杯，

【问题讨论】：

Shai，非常感谢您的帮助。我真的陷入了这个问题。你以前有过这样的问题吗？

标签： machine-learning neural-network deep-learning caffe

【解决方案1】：

您的型号是否大于 2GB？如果是这样，这个错误可能是由于protobuf格式的限制。尝试添加

snapshot_format: HDF5

在您的solver.prototxt 的末尾以hdf5 格式保存。

相关讨论见： https://github.com/BVLC/caffe/pull/2836

【讨论】：