来自 Apache Spark 的推送通知答案

【问题标题】：Push Notification from Apache Spark来自 Apache Spark 的推送通知
【发布时间】：2016-12-07 02:24:17
【问题描述】：

我们每天都会收到大量的日志文件。我正在开发一个使用 Kafka 将数据提供给 Apache Spark 进行实时处理的应用程序。实际的想法是处理 Spark 内部的日志文件并识别模式。我可以通过 Spark 处理收集见解。

现在我想建立一个通知机制。所以当 Spark 处理传入的日志时，如果它发现一个关键事件，它应该发送一个警报。我希望将该警报作为推送通知传递。我怎样才能做到这一点？

PS：我可以发送电子邮件警报。我已经准备好了，但推送通知可能是一件大事。所以帮帮我吧！

【问题讨论】：

在foreachRDD中你可以使用rdd.foreachPartition，在lambda中你可以创建KafkaProducer并向指定主题发送一些消息。是你想要的吗？顺便提一句。请记住，Spark 当前* 是近乎实时的，因此延迟不会以毫秒为单位，而是以秒为单位。 * - 目前，因为 RISELab 正在准备更改以提供全实时 :)
No.. Kafka 生产者发送日志文件，我在 Spark 中使用它们。我想做处理，当有关键事件时，我想发送推送通知。我的问题是我们可以从 Spark 本身发送该通知吗？
@SivaprasannaSethuraman，很抱歉收到了这个老帖子。您最终没有设法从 spark 作业推送通知吗？你能详细说明你是如何实现它的吗？

标签： apache-spark push-notification apache-kafka spark-streaming

【解决方案1】：

您可能想检查一个应用程序。这个应用程序读取（推送或拉取）或写入 Kafka，所有处理都可以在内存集群结构内部（内部引擎）完成，具有非常高的频率容量（一种情况是一天处理 25 亿行日志文件）即时的）。它创建邮件、短信、rdbms dmls、网站弹出窗口等作为输出的操作。这是名为evam 的应用程序的链接。

【讨论】：