Spark 电子邮件处理

Question

我们正在开发一种大数据解决方案，其中一个要求是处理传入的电子邮件。技术堆栈尚未最终确定，但大多数情况下，我们可能会使用 Sendmail 作为 MTA，Procmail 作为 MDA。我们对任何其他非常有效的解决方案持开放态度。

这些电子邮件本质上是在附件中携带数据，并不适用于最终用户，因此电子邮件流以 Spark 处理结束。

我的第一个想法是，如果有一个消息队列系统（例如 Apache-Kafka）可以接受电子邮件作为消息，然后按需将它们提供给客户端（例如 Spark），那就太好了，但似乎是那种技术/方法在任何消息代理系统中均不可用。

这意味着我们必须通过 SMTP MTA 接收电子邮件，然后从 MDA 中提取信息。

我们可以使用 Procmail 提取电子邮件和附件的内容，并将它们放在每个电子邮件的文件夹中，然后扫描文件夹并在 spark 中处理它们。

或者，如果 Spark 有任何插件可以从 MDA 中提取电子邮件并将其分解为附件，这将使生活变得更加简单。

如果有任何其他更智能的解决方案，我们将不胜感激。

因此，根本问题是有哪些技术可用于通过 Spark 对电子邮件进行通道化处理。连接器等

Answer 1

Mailgun 或Sendgrid 传入的电子邮件处理非常简单，以至于我几乎无法想象对于一个新的、特别大的系统有任何替代方案。我只和他们一起玩，但我的印象是，我与电子邮件相关的任何实际或潜在（数十亿封电子邮件）问题都得到了很好的解决。与 Spark 无关，这些系统只是将电子邮件内容作为 http POST 请求发送到您提供的 URL。

Sendgrid 过去常常错误地解析编码，他们的支持忽略了我的电子邮件并最终删除了一张票而没有解决问题。无论原始编码如何，Mailgun 始终返回 UTF8。手动 MIME 解析本身就是一项艰巨的任务，因此最好使用现有的解决方案，除非电子邮件是由计算机生成的。但即便如此，IaaS 服务也比开发人员时间便宜得多。