【发布时间】：2013-10-30 03:34:56
【问题描述】：
我正在寻找组合 Map-reduce 程序生成的小型 RC 文件的方法。 将小型 RC 文件合并到大型 RC 文件的最佳方法是什么。
【问题讨论】：
标签： hadoop hive file-format
【发布时间】：2013-10-30 03:34:56
【问题描述】：
你可以试试 getmerge 命令。这将源目录和目标文件作为输入，并将源目录中的文件连接到目标文件中。
例如，如果Hive表名为search_combined_rc，则可以将合并后的rc文件合并为一个文件。
hadoop fs -getmerge /user/hive/warehouse/dev.db/search_combined_rc/ /localdata/destinationfilename
由于RCFile不能用打开典型序列文件的工具打开，你可以尝试使用rcfilecat工具来显示RCFile的内容。您需要将文件从本地目录移回 HDFS。
hive --service rcfilecat /hdfsfilelocation
【讨论】：
-
这行得通吗？我认为可能还有另一种方法，您可以通过设置 reducer 1 的数量将所有内容放在一个文件中。