【问题标题】:Unable to allocate 60.0 GiB for an array with shape.. Keras无法为具有形状的数组分配 60.0 GiB.. Keras
【发布时间】:2020-04-06 23:15:33
【问题描述】:

我正在使用this 教程在 Python 中使用 Keras 开发神经翻译系统。 我已经成功地使用包含 30k 个短语的数据集来训练和测试我的神经网络。 问题是如果我超过 30k 短语,我的计算机内存不足(我有 32 个 RAM)。 我可能需要生成较小的数据集并重新训练网络。但是如果我这样做了,那么之前训练神经网络的数据集就会被遗忘,如果我在另一个数据集上训练后尝试测试网络,它会显示不同的结果,就像它忘记了它所学的一样。

如何解决这个问题? 我使用的所有代码都在教程中。

【问题讨论】:

    标签: python tensorflow keras neural-network


    【解决方案1】:

    使用 MySQL 数据库存储您的数据集或在存储之前将其分割成块

    【讨论】:

    • 什么意思?数据集已经存储在一个 .txt 文件中,问题是当我一次加载它时,我的计算机内存不足
    • ofc 它将耗尽内存,在存储数据集之前,您应该对其进行切片然后存储它,就像每 100mb 将其存储在不同的文件中一样,或者使用 MySQL 数据库会更容易
    • 但是如果我将数据集存储在 MySQL 数据库中然后加载它,我认为它会占用相同的内存,或者不?
    • 不,sql 数据库是不同的尝试 mongoDB 它被 facebook simform.com/mongodb-vs-mysql-databases
    • 我可以使用 SQLite DB 吗?
    猜你喜欢
    • 2021-05-21
    • 1970-01-01
    • 2021-03-05
    • 1970-01-01
    • 2021-01-04
    • 2019-12-21
    • 1970-01-01
    • 1970-01-01
    • 2020-08-30
    相关资源
    最近更新 更多