【问题标题】:Keras model.predict function write on file (instead of memory)Keras model.predict 函数写入文件(而不是内存)
【发布时间】:2021-06-19 19:04:37
【问题描述】:

我有一个相当大的图像数据集,我想知道是否有一种方法可以在我的磁盘上的文件上制作 keras model.predict 'dump' 结果,而不是在内存上加载大型 numpy 数组,以避免超出内存问题。

我知道我可以将文件分成小批量并分别处理每个批次,但我想知道是否可以更改 keras(或 python)行为以将结果定向到文件(可能是泡菜对象?)。

【问题讨论】:

  • 好的,我突然想到如果我的计算机无法将生成的 numpy 数组保存到内存中,将其转储到 pickle 对象是不好的,因为我以后将无法加载。跨度>

标签: python keras tf.keras


【解决方案1】:

你大概可以用np.savetxt直接保存model.predict返回的ndarray

np.savetxt( 'results.gz' , model.predict( test_images ) )

另外,np.savetxt 的文档建议,

如果文件名以 .gz 结尾,文件会自动保存在 压缩的 gzip 格式。 loadtxt 理解 gzip 压缩文件 透明的。

【讨论】:

    猜你喜欢
    • 2019-09-12
    • 2018-07-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-02-23
    • 1970-01-01
    • 2018-02-04
    • 1970-01-01
    相关资源
    最近更新 更多