使用 PIG 解析原始日志

Question

我正在尝试使用 PIG 解析原始日志。

以下是数据示例：

Thu Jul 13 06:02:36.157 2014 INFO:  pid 018 8: 2:81924:=[]| A=[100]| B=[]| C=[0] | D=[32]| E=[1]| F=[~1~0~1~0]| G= | H=[14]| I=[~0~0~0~1~0~0]| J=[1]| K=[0]| L=[0]

Thu Jul 13 16:42:36.213 2014 INFO:  pid 08 8: 2:81931: Dispatcher:UID=1F4, A=32, B=0, F=2, H=2, J=0, L=414

Thu Jul 03 16:42:36.646 2014 WARNING:  pid 028 8: 2:81939: no data found

预期输出：

(date, A, H, L)

(Thu Jul 13 6:02:36.57 2014, 100, 14, 0)
(Thu Jul 13 16:42:36.13 2014, 32, 2, 414)

示例脚本：

数据未正确分隔（如制表符或逗号），因此我尝试使用 textloader() 加载数据。因为我需要从“信息”中提取信息，所以根据信息和警告过滤日志。

raw_logs = LOAD 'test1.log' USING TextLoader() as (line:chararray);

info = FILTER raw_logs BY (line matches '.*INFO.*');

warning = FILTER raw_logs BY (line matches '.*WARNING.*');

data = FOREACH info GENERATE SUBSTRING(line, 0, 28) AS date, REGEX_EXTRACT(line, 'A=([0-9]*)',1) AS A, REGEX_EXTRACT(line, 'H=([0-9]*)',1) AS H, REGEX_EXTRACT(line, 'L=([0-9]*)',1) AS L;

输出：

(Thu Jul 13 06:02:36.157 2014 ,,,)
(Thu Jul 13 16:42:36.213 2014 ,32,2,414)

我的 REGEX 无法从 [ ] 中提取。另外，我尝试了 FLATTEN 和 TOKENIZE 功能，但无法获得所需的输出。谁能建议我解决问题的正确方法。

还有一件事，是否有任何可能的方法为 REGEX_EXTRACT_ALL 函数编写一个正则表达式，该函数适用于所有 3 种情况并提取所有字段信息，例如 pid、uid 和其他字段等。

Answer 1

我认为你需要逃避[]

data = foreach info generate ..., REGEX_EXTRACT(line, 'A=\\[([0-9]*+)\\]', 1)
                                , REGEX_EXTRACT(line, 'H=\\[([0-9]*+)\\]', 1)
                                , REGEX_EXTRACT(line, 'L=\\[([0-9]*+)\\]', 1)

Answer 2

试试这个，

result = FOREACH info GENERATE SUBSTRING(line, 0, 28) AS date, REGEX_EXTRACT(line, 'A=\\[*([0-9]*)\\]*',1) AS A, REGEX_EXTRACT(line, 'H=\\[*([0-9]*)\\]*',1) AS H, REGEX_EXTRACT(line, 'L=\\[*([0-9]*)\\]*',1) AS L;

希望它能为我工作并为我工作......