在 Spark Streaming 中将 dataframe 列中的 json 记录写入 S3

Question

我有一个以下面格式显示的 drataframe，其中记录为从 kafka 主题读取的 json 数据（字符串格式）

我只需要将数据框中存在的 json 记录写入 S3。

有什么方法可以解析记录并将 json 转换为数据帧并写入 s3？

或提供的任何其他解决方案将有所帮助

我曾尝试使用 foreach 但无法转换为数据帧以写入 s3

def foreach_function(self,row):
   print("*"*100)
   print(row[0])
        
query = df.writeStream.foreach(self.foreach_function).start()
query.awaitTermination()

Answer 1

不清楚为什么你需要 Spark。

Kafka Connect 是 Kafka 的一部分，所以只需要配置它使用S3 Kafka Connect sink（它是开源的），它支持写入 JSON 文件。