R中的kafka消费者答案

【问题标题】：kafka consumer in RR中的kafka消费者
【发布时间】：2012-03-14 23:30:37
【问题描述】：

我希望用 Python 或 R（最好是 R）来破解一个 kafka 消费者。使用 kafka 控制台使用者，我可以 grep 字符串并检索相关数据，但在 R 中适当地解析它时我不知所措。

有其他语言版本的 kafka 客户端（例如：PHP、CPP），但从数据分析的角度来看，R 中的一个客户端会有所帮助。

如果这个论坛上的 R 专家开发人员能够暗示/建议资源，让我在这个方向上取得进展，那就太好了。

Apache Kafka：incubator.apache.org/kafka/

【问题讨论】：

【解决方案1】：

由于有C++ API for Kafka，您可以使用Rcpp 将其带到R。

编辑回应对 R-only 解决方案的评论：我不太了解 Kafka，无法回答，但一般来说，中间件运行速度很快，连接多个客户端、流等。所以你会在某处简化一些事情以让 R（单线程）使用它。

【讨论】：

【解决方案2】：

[2015 更新] 有一个库可以让你连接到 kafka - rkafka

【讨论】：

对使用 rkafka 有什么意见吗？它有多稳定？
我现在正在使用rkafka，但是它没有被维护，作者没有响应，并且包不太适合自动化（例如，错误直接打印到R控制台，不作为“异常”抛出并且不能被捕获）。任何有关其他实现的更新或信息将不胜感激。
在有人开始移植 cpp 客户端之前，什么都不会改变。幸运的是，有很多只有标头的 cpp 客户端。与他们合作应该相当简单......感谢您与rkafka分享您的经验！
@DmitriySelivanov 不幸的是，我发现的唯一一个 (libkafka-asio) 需要“boost-thread”，除非我弄错了，isn't supported，至少在 Windows 下（并且不包括在 @ 987654324@ 自 1.60.0-2 起）。是否还有其他不基于 Boost 的头库？
似乎最直接的方法是尝试开发与 librdkafka 的 r 绑定...至少所有 kafka 版本都将得到支持。但是，是的，它不仅仅是标题。