在多少个内核上运行矩阵算法？

Question

我正在运行来自 PHYLIP (http://evolution.genetics.washington.edu/phylip/doc/dnadist.html) 的名为 dnadist 的程序。这会根据您输入的序列数创建一个 dna 距离矩阵。

目前，我想从 14,778 个序列创建一个矩阵。我提交此文件以在我大学的 HPCC 上运行，根据我计算的估计，运行需要 10 天。

我想请求更多的内核来加快时间，但我对这是否可以拆分运行的算法感到困惑？还是必须全部在 1 个核心上运行？我的假设是我必须更改算法本身以溢出正在生成的矩阵，然后将它们全部连接在一起。这是正确的假设吗？

Answer 1

我不确定这里有几件事：phylip 是如何进行成对比较的（如果它是一次计算，那就太麻烦了！），你正在测序什么（细菌蛋白质的数量级更容易适应记忆比小麦基因组）以及如何设置在 HPCC 上运行（phylip 是 C，我相信它是如何部署的？）。

简而言之，基因分析一直在进行，因此编写定制程序来自己进行分析可能是行不通的。还有其他工具，例如 MEGA 可以为您仔细计算距离，但值得看看文献中针对您的问题使用了什么以及在什么硬件上使用了什么。也许还可以尝试 R 的 dist.dna() 功能？如果你想把它平行化（link），你可以，但你需要一些诡计多端的方法来确保在组合它们之前完成所有距离。

计算速度重要吗？如果您有 15,000 个完整的细菌序列（假设每个序列为 1,300 kbp），那么它们将适合一台像样的机器上的内存。同样，我的猜测是有人已经有了可以做到这一点的东西，在桌面上躺几天就可以了，让你有机会写下你的介绍和方法！

Answer 2

是的，可以并行化，这就是使用HPCC的要点。不阅读您的代码很难回答。 我假设您的代码类似于：

EXPORT CalculateDistances :=FUNCTION(parameters)
    // For each parameter do your DNA magic(matrix calculation) 
    RETURN something;
END;

result:= CalculateDistances(A,B,C,D...);
OUTPUT(result, named('result'));

您可以使用PARALLEL ECL command 并在 Thor（而不是 HThor）中运行 workunit，将您的函数编码与基本矩阵计算并行化。

EXPORT CalculateDistance :=FUNCTION(Matrix1, Matrix2)
    // Your DNA magic(basic matrix calculation) for Matrix1&Matrix2
    RETURN something;
END;

result01:= CalculateDistance(A,B);
result02:= CalculateDistance(A,C);
result03:= CalculateDistance(A,D);
result04:= CalculateDistance(B,A);
result05:= CalculateDistance(B,C);
result06:= CalculateDistance(B,D);
result07:= CalculateDistance(C,A);
result08:= CalculateDistance(C,B);
result09:= CalculateDistance(C,D);
result10:= CalculateDistance(D,A);
result11:= CalculateDistance(D,B);
result12:= CalculateDistance(D,C);

executeCalculates := PARALLEL(
        result01,
        result02,
        result03,
        result04,
        result05,
        result06,
        result07,
        result08,
        result09,
        result10,
        result11,
        result12
);

executeCalculates;