csv 文件中有 6 个字段：
String）我正在用java写mapreduce，用逗号分割所有字段，并在键中发送学生姓名，在地图值中标记。
在reduce 中，我正在处理他们输出学生姓名的键和他们的分数加上reduce 的值的总、平均值等。
我认为可能有另一种更有效的方法来做到这一点。
有没有人知道更好的方法来执行这些操作？
hadoop有没有内置函数可以按学生姓名分组，可以计算该学生的总分和平均分？
【问题讨论】：
您可能想看看 Pig http://pig.apache.org/，它在 Hadoop 之上提供了一种简单的语言，让您可以用大大更短的代码执行许多标准任务。
【讨论】：
使用 HIVE。它比用 java 编写 mapreduce 更简单，而且我可能比 PIG 更熟悉，因为它是类似 SQL 的语法。
https://cwiki.apache.org/confluence/display/Hive/Home
你要做的是 1）在您的机器或 1 个节点中安装 hive 客户端并将其指向您的集群。 2）为该文件创建表描述 3) 加载数据 4）编写SQL。由于它认为您的数据看起来像 student_name、subject_mark1、subject_mark2 等，您可能需要使用 explode https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-explode
2) CREATE TABLE 学生（姓名 STRING，subject1 INT，subject2 INT） 行格式分隔 以“，”结尾的字段 存储为序列文件；
3) LOAD DATA INPATH '/path/to/data/students.csv' INTO TABLE 学生；
4) SELECT name, AVG(subject1), AVG(subject2) FROM students GROUP BY name;
输出可能如下所示：
姓名 |主题1 |主题 2
约翰 | 6.2 | 7.0
汤姆| 3.5 | 5.0
【讨论】：
除了作为reducer 运行之外，您还可以将reducer 设置为combiner 运行，这样您就可以在将所有数据发送到reducer 之前执行临时计算。
正如 Nicolas78 所说，您应该考虑使用 pig，它可以很好地构建高效的 map/reduce 并节省您的代码和精力
【讨论】：
我正在用java编写mapreduce，用逗号分割所有字段，并在key中发送学生姓名，在map的值中发送标记。
在reduce中，我正在处理他们输出key中的学生姓名和他们的分数加上reduce值的总数、平均值等。
这可以很容易地写成一个只有地图的工作，不需要减速器。映射器从 CSV 中获取一行后，将它们拆分并仅在映射器中根据需要进行计算。并发出学生姓名作为键和平均/总计等作为值。
【讨论】：