Java 中使用 Avro 的 MapReduce：String、CharSequence 和 Utf8 数据类型

Question

我是使用 Avro 编写 Hadoop MapReduce 的初学者，我不清楚通过 String、CharSequence 或 Utf8 将 Pair 传递给 map/reduce 方法之间有什么区别？

如果字符串只是“hello world”之类的东西怎么办？

这里有一个简单的 map 方法例如，在这种情况下使用 CharSequence 作为输出键类型：

public void map(Pair<CharSequence, Integer> datum, AvroCollector<Pair<CharSequence, Integer>> collector, Reporter reporter) throws IOException {
            Integer number_one = new Integer(1);
            String output_key = "hello world";
            collector.collect(new Pair<CharSequence, Integer>(output_key, one));
        }

感谢任何帮助！

Answer 1

CharSequence is an interface that "bundles" 大多数基于字符的实现，如StringBuilder、StringBuffer、CharBuffer、String 和 Avro 中的Utf8。

String 是不可变的，这意味着您不能修改内部数据 - 您所做的每一次修改都会导致创建一个新的 String 对象。

Utf8 on the other hand will allow you to modify its internal buffer ("mutable")，与使用String 实例相比，这将产生更少的垃圾。

所以您可以说使用CharSequence 是最灵活的解决方案，因为它允许您传递比专门的实现更多的字符串表示，您可以根据需要从可用的实现中进行选择。