如何从 Azure 数据块写入 RabbitMQ？

Question

我目前正在学习使用 RabbitMQ。我正在尝试使用 pyspark 从 Azure Databricks 向 RabbitMQ 发布消息。知道如何实现吗？

Answer 1

很遗憾，Azure Databricks 不支持将 RabbitMQ 作为源。

Azure Databricks - Streaming Data Sources and Sinks

结构化流具有对许多流数据源和接收器（例如，文件和 Kafka）的内置支持，以及允许您指定任意数据写入器的编程接口。

• 阿帕奇卡夫卡
• Azure 事件中心
• 三角洲湖表
• 使用 DataFrame 读取和写入流式 Avro 数据
• 写入任意数据接收器
• 使用 Azure 队列存储优化了 Azure Blob 存储文件源

根据我的研究，我发现了一个名为“Panoply”的第三方工具，integrate Databricks and RabbitMQ using Panoply。

希望这会有所帮助。