【问题标题】:Genetic algorithms in python, is there a maximum amounts of data or maximum number of parameters?python中的遗传算法,是否有最大数据量或最大参数数量?
【发布时间】:2013-10-30 19:20:54
【问题描述】:

我正在构建一个在 python 中运行我的第一个遗传/进化算法的结构。此类算法可以处理的最大数据量或可以考虑的最大参数数量是否存在?

此外,用于这种算法的计算机的计算能力有多重要?我有一个模型可以解决超过 5GB 的数据,并且包含 250 多个数字参数。

我知道这种非编码模糊的问题在Stackoverflow上似乎是禁忌,但这是互联网上最全面的python知识库。

我们将不胜感激在这方面的任何智慧或建议。

非常感谢 GTPE

【问题讨论】:

    标签: python python-2.7 csv if-statement append


    【解决方案1】:

    限制是“当你用尽内存时”通常你会首先失去耐心 - 但你总能找到其他方法,例如创建一个类来存储您的参数并将其作为单个参数传递,构建您的处理以便它在任何时候处理您的部分数据 - 这两个是能够将负载分担到其他内核的非常好的开始和/或解决电源问题的机器。

    【讨论】:

    • 非常感谢您的回答!我以前在 excel 中运行过进化算法(速度很慢),但那是为了更少的数据。我曾经有时一次运行这些程序好几天。这种时间框架是使用 python 预期的吗,我的 250 个参数是 250 个不同变量多项式回归的结果
    • Python 非常基于类 - 但如果您可以采用上述方法,您将能够使用多进程来使用您的所有内核或使用 pyro 来使用您网络上的所有机器 - 在用户许可的情况下课程。如果你对问题进行结构化,你会发现 python 比 excel 快得多。
    • 这样的评论和建议非常宝贵!你有关于遗传算法的推荐读物吗?
    猜你喜欢
    • 1970-01-01
    • 2012-02-24
    • 2015-05-08
    • 1970-01-01
    • 1970-01-01
    • 2018-08-28
    • 1970-01-01
    • 2018-05-13
    • 2012-02-20
    相关资源
    最近更新 更多