Kafka生产者代码将在事件产生时由哪个团队处理

Question

我对 kafka 主题/生产者/消费者和代理有基本的了解。

我想了解它在现实世界中的工作原理。

例如考虑下面的用例。

1. 用户与 Web 应用程序交互
2. 当用户点击某物时，会生成一个事件
3. 因此会有一个运行的 kafka 生产者在事件生成时将消息写入 atopic
4. 然后是消费者（例如：spark 应用程序从主题中读取并处理数据）

谁负责处理生产者代码？前端的 java/Web 开发人员？因为 Web 开发人员熟悉事件和 tomcat 服务器日志。

谁能解释一下开发者和负责每个部分的责任。

Answer 1

在“标准”场景中，涉及以下人员/角色：

1. 基础设施开发：设置 Kafka 实例（例如 openshift/strimzi）
   • 管理主题、用户
2. 前端开发：创建前端（例如反应）
3. 后端开发：实现后端系统（例如 asp .net 核心）
   • 处理数据库连接、日志记录、监控、IAM、业务逻辑、处理事件、生成 kafka 事件、...)
4. App Dev 任何编写或管理“其他应用程序”（例如 spark 应用程序）的人。 使用（提交） kafka 事件

由于生产者/消费者 kafka API 有很多实现，因此它与语言无关，(see some libs)。但是你说得对，实现有关 kafka 功能的开发人员至少应该熟悉pub-sub。

请注意，我们讨论的是角色，因此不一定要涉及四个人，也可能只是一个人完成整个工作。此外，这只是一个通用的现实世界场景，在您的特定用例/环境中可能完全不同。