如何拆分回归数据以转换为 hdf5 (Caffe)

Question

我正在使用@shai的代码将数据转换为hdf5，但是转换后数据的大小太大了，大于caffe的限制大小（2GB） 所以，我的问题是我们应该如何分割数据？ 我们只需要单独转换数据取决于我们想要什么？

Answer 1

获得更多信息以提供更好的答案会很有帮助。请给出 Caffe 给你的实际错误。另外，究竟什么大于 2GB？是txt文件吗？

HDF5 效率不高。我建议使用数据库层 (http://caffe.help/manual/layers/data.html) 或编写自己的自定义 Python 层 (http://caffe.help/manual/layers/python.html)。