【发布时间】:2015-06-01 14:41:54
【问题描述】:
我的项目需要很长时间才能运行, 我在我的处理器内核上创建线程和分布式数据和处理, 但是,还需要很长时间, 我尽量优化代码, 如何在多台笔记本电脑上分配计算?
【问题讨论】:
-
50 MB 我正在做自然语言处理
标签: java machine-learning bigdata distributed-computing
我的项目需要很长时间才能运行, 我在我的处理器内核上创建线程和分布式数据和处理, 但是,还需要很长时间, 我尽量优化代码, 如何在多台笔记本电脑上分配计算?
【问题讨论】:
标签: java machine-learning bigdata distributed-computing
基于您的四个关键字:
java、machine-learning、bigdata 和 distributed-computing 我得出的结论是你想要像 hadoop 这样的东西。
它也是natural processing 的完美选择。
再说一次,我没有关于你的问题的任何细节,但你会惊讶于 hadoop 能做什么。
为了便于使用,您可能还想看看云计算,例如WatsonAnalytics
【讨论】:
您可以查看支持 MPICH2 API 的 Java MPI。
我还听说过 Terracotta 提供的分布式 JVM 支持。
如果不了解您的需求/应用程序的低级视图,就很难提出可行的方法。
【讨论】:
我认为这取决于您的处理要求。如果需要在某些数据集上进行一些数学计算,您的机器无法快速处理,您可以批量制作并将其同时发送到不同的机器并轮询每个机器的结果。有多种语言可用的异步操作,您可以利用这些操作将(批次的位置或它们自己的批次)发送到多台机器。
【讨论】: