用于广泛数据挖掘的服务器规范

Question

我正在运行一个数据挖掘项目，它解析大约 2 GB 的 RDF 数据集以生成图形（大约 100 mb）并保存为 python pickle。

遗憾的是，由于内存有限（内存错误），我当前的 4GB RAM 戴尔 poweredge 无法保存图表。我已经尝试过其他方法来保存它，比如 gml 或纯文本或邻接，但我想我似乎需要更多的 RAM。

我是应该继续购买具有大约 12GB RAM 的优质服务器，还是其他因素会加快解析和搜索速度（例如多核？在脚本中使用多个线程？）。

如果是硬件，您能否推荐一些好的服务器型号购买，因为我不太擅长处理硬件规格。我的预算大约是3500美元。

Answer 1

2GB 大且输出约为 100MB 的数据集并不是很大。如果您有 4GB 的物理 RAM 并启用了交换，则不应由于物理硬件限制而出现内存不足错误。

您使用什么软件来处理数据并呈现结果？你在什么操作系统上？导出时出现内存不足的情况可能更多是您正在使用的软件的限制/错误。