【问题标题】:framework for distributed algorithm分布式算法框架
【发布时间】:2014-04-04 23:22:23
【问题描述】:

我必须做一个项目,其中我有一个动态图,每个节点都执行我的算法来计算 pagerank。 我的问题是:有一个框架可以让我在每个节点中同时运行一个算法(算法不是中心化的)?

【问题讨论】:

    标签: frameworks distributed pagerank


    【解决方案1】:

    是的,Giraph 可能是最常见的例子,它可以完全满足您的需求。但是设置起来并非易事,昨天关于 Giraph 材料的 SO 上有一个问题:https://stackoverflow.com/questions/22817423/material-related-to-giraph/

    另一个例子是来自 spark 的 GraphX (http://amplab.github.io/graphx/) 和 GraphLab (http://graphlab.org/projects/index.html),但我对这些没有任何经验。然而,所有这些框架都支持为节点编写代码并为图中的每个节点执行代码。它们还允许您将算法分布在多个服务器上以生成大型图,但如果您的图足够小,则没有必要。

    【讨论】:

    • 是否有在 Python 中使用这些工具的教程? Giraph 是基于 Java 的,而 GraphX 似乎是用 Scala 和 Java 编写的。 Spark 现在应该与 Python 兼容(pyspark),所以大概 GraphX 和 Giraph 也是。任何提示/链接?
    • @Gleen,对于 Giraph,我不知道也无法想象用其他语言实现代码的任何方式,但 Java 除外。不过我没用过其他的。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-02-23
    • 2011-03-23
    • 1970-01-01
    • 2012-06-21
    • 2017-11-05
    • 2011-12-01
    • 2010-11-23
    相关资源
    最近更新 更多