【发布时间】:2011-07-06 17:56:48
【问题描述】:
我是 hadoop map reduce 框架的新手,我正在考虑使用 hadoop map reduce 来解析我的数据。我有数千个大的分隔文件,我正在考虑编写一个 map reduce 作业来解析这些文件并将它们加载到 hive 数据仓库中。我在 perl 中编写了一个解析器,可以解析这些文件。但我坚持用 Hadoop map reduce 做同样的事情
例如:我有一个类似的文件 x=a y=b z=c..... x=p y=q z=s..... x=1 z=2 .... 等等
现在我必须将此文件作为 hive 表中的列 (x,y,z) 加载,但我不知道是否可以继续。任何有关这方面的指导都会非常有帮助。
这样做的另一个问题是有些文件缺少字段 y。我必须在 map reduce 作业中包含该条件。到目前为止,我已经尝试使用 streaming.jar 并将我的 parser.pl 作为映射器作为该 jar 文件的输入。我认为这不是这样做的方法:),但我只是在尝试是否可行。另外,我想过使用 Hive 的加载功能,但是如果我在 hive 表中指定 regexserde,缺少的列会产生问题。
我现在迷失了,如果有人可以指导我,我将不胜感激:)
问候, 阿图尔
【问题讨论】:
-
我也想做同样的事情,你想清楚了吗...任何建议都会有所帮助,此外,如果文件中的一行有多个 x 值, y,z 你会怎么俱乐部他们?例如,如果文件中的一行有 a b c d a b d a b c,我想在 hive 仓库中的 x,y,z 下添加 a,b,c (2次)..对此有什么想法吗??