在 python 中使用 Hadoop 处理大型 csv 文件

Question

我有一个巨大的 CSV 文件，我想在 Amazon EMR (python) 上使用 Hadoop MapReduce 进行处理。

该文件有 7 个字段，但是，我只查看 date 和 quantity 字段。

 "date" "receiptId" "productId" "quantity"  "price" "posId" "cashierId"

首先，我的 mapper.py

import sys

def main(argv):
    line = sys.stdin.readline()
    try:
        while line:
            list = line.split('\t')

            #If date meets criteria, add quantity to express key
                if int(list[0][11:13])>=17 and int(list[0][11:13])<=19:
                    print '%s\t%s' % ("Express", int(list[3]))
            #Else, add quantity to non-express key
                else:
                    print '%s\t%s' % ("Non-express", int(list[3]))

            line =  sys.stdin.readline()
except "end of file":
        return None
if __name__ == "__main__":
        main(sys.argv)

对于reducer，我将使用流式命令：聚合。

问题：

1. 我的代码正确吗？我在 Amazon EMR 中运行它，但输出为空。

2. 所以我的最终结果应该是：快递，XXX 和非快递，YYY。我可以让它在返回结果之前进行除法操作吗？只是 XXX/YYY 的结果。我应该把这段代码放在哪里？减速机？？

3. 另外，这是一个巨大的 CSV 文件，所以映射会将其分成几个分区吗？还是我需要显式调用 FileSplit？如果是这样，我该怎么做？

Answer 1

在这里回答我自己的问题！

1. 代码错误。如果您使用聚合库来减少，您的输出不会遵循通常的键值对。它需要一个“前缀”。

   if int(list[0][11:13])>=17 and int(list[0][11:13])<=19:
       #This is the correct way of printing for aggregate library
       #Print all as a string.
       print  "LongValueSum:" + "Express" + "\t" + list[3]
   

   其他可用的“前缀”有：DoubleValueSum、LongValueMax、LongValueMin、StringValueMax、StringValueMin、UniqValueCount、ValueHistogram。更多信息，请看这里http://hadoop.apache.org/common/docs/r0.15.2/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html。

2. 是的，如果你想做的不仅仅是基本的 sum、min、max 或 count，你需要编写自己的 reducer。

3. 我还没有答案。