如何生成输入数据并将其存储到本地文件以及我们如何使用 kafka 读取该输入生成文件的数据答案

【问题标题】：How to generate input data and stored it in to a local file and How we can read the data of this input generated file by using kafka如何生成输入数据并将其存储到本地文件以及我们如何使用 kafka 读取该输入生成文件的数据
【发布时间】：2019-09-11 12:24:44
【问题描述】：

为此，我启动了 Zookeeper： bin/zookeeper-server-start.sh config/zookeeper.properties

然后是kafka服务器： bin/kafka-server-start.sh config/server.properties

主题： bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

那么文件生成的下一步是什么？

【问题讨论】：

您可以使用特定语言的文件生成代码，然后编写一个 kafka 生产者，该生产者将从文件中读取并将其写入fast-messages。
好的，谢谢@Mukesh Prajapati

标签： apache-kafka

【解决方案1】：

对于同一个问题，我还提到了另一个链接，我得到了结果。链接是 --> https://docs.confluent.io/current/streams/quickstart.html

以下是我遵循的步骤-->

第 1 步：启动 Zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties

第 2 步：启动 kafka 服务器 bin/kafka-server-start.sh config/server.properties

第 3 步：创建一个名为“快速消息”的主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

第 4 步：运行 Producer kafka-console-producer.sh --broker-list localhost:9092 --topic fast-messages --new-producer < my_file.txt

第 5 步：消费者聆听：

/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic fast-messages --from-beginning

【讨论】：

【解决方案2】：

您需要解析该文件，并从中编写一个 Kafka 生产者。

或者您可以直接将文件通过管道传输到控制台生产者。

How to write a file to Kafka Producer

或use KafkaConnect FileSourceConnector

【讨论】：

谢谢，使用上面的链接我得到了结果。