Hadoop Streaming 忽略非常大的记录

Question

我有一个 hadoop 流程序，如果传入的行太大（超过 20M 左右），reader.readline() 会出现 OutOfMemoryException。有没有办法告诉hadoop不要传入超过一定大小的记录？太大的记录是百万分之一。我宁愿不使用跳过不良记录选项...

我也尝试使用此代码 http://code.google.com/p/owasp-esapi-java/issues/attachmentText?id=183&aid=-7134623167843514645&name=BoundedBufferedReader.java 代替 reader.readline()，但它太慢了，我认为是因为它一次只能读取一个字符。

Answer 1

这不是 Hadoop 的问题，而是您阅读该行的方式的问题。

reader.readline() 可能一次读取一个字符，因为它需要找出行尾在哪里。因此，逐个字符检查可能不会慢很多。您可以一次读取一个字符，将其推回某种列表或缓冲区。如果它变得太长，请忽略该行并继续前进。一旦你看到换行符，你就可以开始了。