计算地图减少中所有字母的出现概率

Question

我正在尝试使用 Map-reduce 程序计算文件中每个字母出现的概率。

我正在使用以下框架进行 map-reduce。 1 个映射器来映射所有字符，例如 ('a',1)。 1个组合器来计算每个字符的出现总数。 1 个减速器来计算平均值。

但是，我无法计算减速器中的平均值。所以，我添加了一个虚拟字符，每当映射器映射一个新字符时，它就会写入一次。

这个虚拟字符代表字符的总数，我不知道如何在reducer中访问它并将所有其他值除以总数。

例如，以下是组合器的输出。

# 10
a 2
b 2
c 2
d 4

我尝试了 1 个减速器，但没有输出。

我特别需要知道必须写在reducer中的逻辑。

public void reduce(Text key, Iterable<DoubleWritable> values, Context context)
        throws IOException, InterruptedException {

    int wordCount = 0;
    double total = 1;
    System.out.println("In Reducer now!");
    double avg = 0;
    total = values.iterator().next().get();

    avg = values.get() / total;
    context.write(key, new DoubleWritable(avg));
}

上面的代码没有在输出上写任何东西。

映射器

public void map(LongWritable key, Text value, Context context)
        throws IOException, InterruptedException {

    String s = value.toString();

    char[] arrayofChar = s.toCharArray();
    for (char ch : arrayofChar) {
        System.out.print(ch);
        if (Character.isLetter(ch)) {
            context.write(new Text(String.valueOf(ch)), new DoubleWritable(1));
            context.write(new Text("#"), new DoubleWritable(1));

        }
    }
}

组合器

public void reduce(Text key, Iterable<DoubleWritable> values, Context context)
        throws IOException, InterruptedException {

    double total = 0;
    System.out.println("In Combiner now!");
    for (DoubleWritable value : values) {
        total += value.get();
    }
    context.write(key, new DoubleWritable(total));
}

Answer 1

为了整理这个我写了单独的消费者：

public class Test {
    public static void main(String[] arg) throws Exception{
        String s= "aabccdaaab"; 
        Averager av = s.chars().collect(Averager::new,Averager::accept, Averager::combine);
        System.out.println(av.averages());
    }
}

class Averager implements IntConsumer  {
    private int count = 0;
    private Map<Character,Integer> data = new HashMap<>();
        
    public  Map<Character, Double>averages() {
        Map<Character, Double> result = new HashMap<>();
        for(Character c : data.keySet()) {
            double d = (double)data.get(c)/count;
            result.put(c,d);
        }
        return result;
    }
        
    public void accept(int c) { 
        Character cc = new Character((char)c);
        count++;
        if(data.containsKey(cc)) {
            int i = data.get(cc);
            i++;
            data.put(cc, i);
        } else {
            data.put(cc, 1);
        }
    }

    public void combine(Averager other) {
        for(Character c : data.keySet()) {
            if(other.data.containsKey(c)) {
                int sum = data.get(c) + other.data.get(c);
                other.data.put(c, sum);
            } else {
                other.data.put(c, data.get(c));
            }
        }
        data = other.data;
    }
}

输出：

{a=0.5, b=0.2, c=0.2, d=0.1}