用于简单分布式计算问题的 Java 框架/工具答案

【问题标题】：Java framework/tool for simple distributed computing problem用于简单分布式计算问题的 Java 框架/工具
【发布时间】：2010-11-23 05:07:36
【问题描述】：

我们生成 pdf 文件，其中包含有关数以万计客户每月财务余额的数据。在高峰期（年底 100.000 个文件），使用在 5 台服务器之间分配负载的过程可能需要长达 5 天的时间才能完成。工作负载的分配是一个手动过程（例如，服务器 1 为客户端 1 到 20.000 生成 pdf，服务器 2 从 20.001 到 40.000，等等）。

我们使用 Java，因此我们希望以类似于BOINC（BOINC 未用 Java 编码）的方式使用 Java 工具或框架，这将使我们能够：

服务器自动将数据和代码分发给工作人员并对其进行管理
workers（普通双核桌面使用免费（或非）cpu 周期）接收服务器发送的代码并使用数据作为输入执行它，给出一些状态反馈，最后对输出做一些事情，例如。将 pdf 生成的文件发送到网络存储。

目前，我们不想尝试重量级的全能工具包，例如 Globus Toolkit。

¿您知道任何适合我们需求的 java 框架/工具吗？开源会很好，但我们不会放弃商业解决方案。

【问题讨论】：

你为什么更喜欢其他的java-framework？ BOINC 不是用 Java 编码的唯一原因？
BOINC 将是我们选择的工具，因为它适合我们的需求。 Java 代码可以从 Boinc 客户端执行，但是原生 BOINC 接口是用 C 编写的。这是我们的主要原因

标签： java frameworks parallel-processing distributed

【解决方案1】：

查看Hazelcast distributed executor service。它使用 Java 的标准 ExecutorService API。

【讨论】：

【解决方案2】：

有很多：

Google 是您最好的朋友。

【讨论】：

谢谢。事实上，我用谷歌搜索了一下，发现了 GridGain 和 jppf，但没有什么像 boinc 那样。 Cajo 看起来很有趣。
有点晚了...但是 +1 用于使用 dmoz 目录。
到目前为止，除了 jppf 之外的所有这些链接都已失效。

【解决方案3】：

【讨论】：

【解决方案4】：

您可以查看的另一个是Terracotta。

【讨论】：

【解决方案5】：

Google 说这里有一个 BOINC 的 Java 端口：http://boincoid.sf.net

它主要针对 android :-/ 但显然除了 GUI 之外的所有东西都可以在常规 VM 上运行。

【讨论】：

不错。事实上，它说很快就会有 Java 端口和 Android 端口。