Spark 在 Python 中使用 map reduce 分析大型 mbox 邮箱文件答案

【问题标题】：Spark to analyse large mbox Mailbox file using map reduce in PythonSpark 在 Python 中使用 map reduce 分析大型 mbox 邮箱文件
【发布时间】：2018-01-22 09:04:30
【问题描述】：

我有大型 mbox 文件，我可以使用邮箱 api 解析并转储到 csv

import mailbox
import csv
mbox = mailbox.mbox("emailfile.mbox")
for message in mbox:
with open('mail.csv','w') as fp:
    writer = csv.writer(fp,delimiter=',')
    for message in mbox:
        data = [ (message['Date'],message['From'], message['To'], message['subject']) ]
        writer.writerows(data)
        print data

如何使用 pySpark 和 map reduce 做到这一点？我不知道如何将文件加载到 rdd 并以 map reduce 方式使用邮箱 api。

有什么想法吗？

【问题讨论】：

标签： python csv apache-spark mbox

【解决方案1】：

我想出了怎么做，我在这里上传了我的代码 - https://github.com/bbalegere/Spark-EmailDump-Analyser

我使用 formail 命令将 mbox 文件拆分为单独的 eml 文件，然后使用 sc.wholeTextFiles 读取包含所有 eml 文件的目录并对其运行并行操作。

【讨论】：