如何在 HPC 集群上创建分布式后缀树答案

【问题标题】：How to create a distributed suffix tree on HPC cluster如何在 HPC 集群上创建分布式后缀树
【发布时间】：2011-02-02 11:37:59
【问题描述】：

我想为 4 GB 的输入字符串创建一个后缀树。理想情况下，内存中树的大小约为 100 GB。我无法在普通桌面上执行此操作。有没有办法在 Windows HPC 集群上做到这一点？如何将后缀树分布在 HPC 的不同计算节点上？

【问题讨论】：

你的集群有多大？ 100 GB 仍然是很多内存，也许您应该考虑将其中的一些（大部分）写入磁盘。另外，您将如何处理这些数据？
感谢您回复 suszterpatt。集群由 8 个节点组成，每个节点具有 24GB 的 RAM 和 160GB 的硬盘。我想用这棵树进行序列匹配。将有数百万次搜索字符串匹配。在磁盘上写入不是我的选择，它会使搜索变慢。

标签： mpi hpc

【解决方案1】：

是的，可以这样做； Google Scholar 列出了有关该主题的 several papers。诀窍在于将部分后缀初始分配给初始处理器。必须选择它，以便每个处理器都可以关闭并独立地找到它的树部分。一旦完成，通常的后缀树操作就可以相当有效地完成。我不知道任何公开的实现示例。

【讨论】：