如何在 Samza 中实现类似于 Storm DRPC 的东西？答案

【问题标题】：How to implement something similar to Storm DRPC in Samza?如何在 Samza 中实现类似于 Storm DRPC 的东西？
【发布时间】：2015-06-04 18:48:57
【问题描述】：

我有许多任务的 samza 作业，每个任务都在其嵌入式存储中保存一些状态。我想通过某种 RPC 机制公开这个商店以供外界阅读。最好的解决方案是什么？

这是 Samza 文档中关于它的一段：

Samza 目前没有与 DRPC 等效的 API，但是您可以使用 Samza 的流自己构建它处理原语。

我想到的唯一解决方案是让我的任务除了正常处理之外，在特殊请求主题上消费具有一些相关ID的请求消息，并将具有相同相关ID的响应消息放入特殊响应中话题。所以这就像 RPC-over-Kafka 解决方案，在我看来不是最理想的。

欢迎提出任何想法！

【问题讨论】：

标签： rpc apache-kafka apache-samza

【解决方案1】：

据我所知，嵌入式存储是在 Kafka 主题中备份的。当您在商店中设置某些内容时，会针对主题生成消息。因此，您可以使用此主题，并且可以将嵌入式存储“克隆”到不同的数据库。然后就可以查询数据库了。或者您可以只使用数据库而不是嵌入式存储。但是这种方法可能会导致您的 Samza 工作出现性能问题......

【讨论】：