【问题标题】:The actor pattern with Akka and long running processes具有 Akka 和长时间运行进程的 actor 模式
【发布时间】:2016-02-15 13:04:06
【问题描述】:

最近我一直在研究令人敬畏的 Akka 框架,试图了解它并确定它是否适合我的项目。目前,这个应用程序是一个普通的老式 java 应用程序,它通过调用各种外部 c++ 可执行文件来执行一些非常复杂的计算(有时计算可能需要几个小时才能运行)。在代码中它看起来像这样

public static class Worker extends UntypedActor {
  // Run Very Long Process 
  public void onReceive(Object message) {
    if (message instanceof Work) {
        Work work = (Work) message;
        double result = veryLongProcess(work.getStart(),work.getNrOfElements());
        getSender().tell(new Result(result), getSelf());
    } else {
       unhandled(message);
    }
  }
}

我的问题是,Akka 能否处理有时需要数小时才能从执行中返回的演员?

【问题讨论】:

  • 您可以将调度程序配置为适合您的应用程序的线程模型。您可能希望为运行缓慢任务的调度程序设置一个单独的线程池,并为其他执行短期任务的参与者保留默认调度程序。 doc.akka.io/docs/akka/snapshot/scala/dispatchers.html 在使用如此丰富的框架以了解所有可配置部分时,阅读所有文档是个好主意。
  • 好的,这很有道理。我想我担心的是 Akka 有某种超时或其他类似的功能,在经过一定时间后会假设演员已经死亡。
  • 根据我的经验,工作只是在actor邮箱中存储,直到你用完堆或线程。所以资源管理是你必须在 else configure 中设计的东西。简单的事情是简单的,复杂的事情是可能的。我最重要的建议是不要让一切都成为演员。 Futures 也是你的朋友,并且只使用演员来使多任务处理和远程处理更容易。

标签: java scala akka actor


【解决方案1】:

直接回答您的问题;关于这个主题有一个good article

同样,如果你有长时间运行的计算,让它们在一个 为 CPU 密集型任务单独的 ExecutionContext 是个好主意。

文章有以下例子:

import java.util.concurrent.Executors
import concurrent.ExecutionContext

//I added 'private' for the rest of the example
private val executorService = Executors.newFixedThreadPool(4)
private val executionContext = ExecutionContext.fromExecutorService(executorService)

间接回答,

期货优先

我完全同意 Akka Actors 对于特定类型的工作来说是一个非常有用的工具。在缓存方面,ActorsAgents 是城里最好的游戏。

但是,在这种情况下,我建议使用 Future 而不是 Actor。您可以将veryLongProcess 设为private 函数。隐私将允许完全控制一次调用该方法的线程数:

def longProcessFut(start : Int, noOfElements : Int) : Future[Result] = Future {
  veryLongProcess(start, noOfElements)
}(executionContext)//controls the executing pool of veryLongProcess

简单、简洁和异步。

没有杀死字母,没有在阳光下接受任何东西的重载接收方法,也没有 Props,甚至连 ActorRef 都不是 Future 所必需的。膨胀,我说的是啤酒肚!

此外,由于?,您的用户无论如何都会创建一个 Future:

//Actor user code, too verbose

val longProcessRef = actorSystem actorOf Props[Worker]

val fut : Future[Result] = (longProcessRef ? Work(0,42)).mapTo[Result]

与直接使用 Futures 相比

//happy user code

val fut : Future[Result] = longProcessFut(0, 42)

同样伟大的未来,但卡路里减半!

您可以按照 cmets 中建议的相同方式控制 Future 的调度程序,这非常好。你甚至可以使用actorSystem.dispatcher 作为你的 Future 调度器来控制调度器的行为。

【讨论】:

  • 感谢您出色而彻底的回复!我剩下的一个问题是,您仍然可以使用 Futures 访问 Akka 的远程处理模块吗?我们将在系统上拥有高负载,目标是能够将这些计算分散到 n 台机器上。
  • 我不知道远程运行 Futures 的任何功能,所以 Actors 仍然有这个优势。但是,当我个人进行分布式计算时,我使用 Apache Spark 或 Akka Streams(而不是直接使用 Actors)。
【解决方案2】:

如果长期运行的业务逻辑/算法是增量的、产生中间结果和/或可以运行很长时间非常,那么您可能希望从这里重用优秀的设计 sn-ps:@987654321 @

【讨论】:

    猜你喜欢
    • 2013-10-06
    • 1970-01-01
    • 2015-09-09
    • 1970-01-01
    • 2015-11-29
    • 2018-03-30
    • 1970-01-01
    • 2023-03-17
    • 2010-10-11
    相关资源
    最近更新 更多