Hive 和 RegexSerde 只返回 NULL答案

【问题标题】：Hive & RegexSerde returning just NULLHive 和 RegexSerde 只返回 NULL
【发布时间】：2015-05-08 02:52:33
【问题描述】：

我正在尝试使用 Hive 中的 RegexeSerde 解析以下行：

2011-07-22 20:34:51 808 8b1f27d094fb33ea - - - 观察到“不可用” http://www.4shared.com/ 200 TCP_NC_MISS GET text/javascript;charset=UTF-8 http dc413.4shared.com 80 /network/search-suggest.jsp ?search=2 KfZhNit2LHYqA==&format=jsonp jsp “Mozilla/5.0（Windows；U；Windows NT 6.1；en-US；rv:1.9.2.18）壁虎/20110614 Firefox/3.6.18" 82.137.200.42 484 852 -

我的表定义是这样的：

CREATE   external TABLE browsing_data_ext(
  cdate STRING,
  ctime STRING,
  time_taken STRING,
  c_ip STRING,
  cs_username STRING,
  cs_auth_group STRING,
  x_exception_id STRING,
  sc_filter_result STRING,
  cs_categories STRING,
  cs_Referer STRING,
  sc_status STRING,
  s_action STRING,
  cs_method STRING,
  rs_Content_Type STRING,
  cs_uri_scheme STRING,
  cs_host STRING,
  cs_uri_port STRING,
  cs_uri_path STRING,
  cs_uri_query STRING,
  cs_uri_extension STRING,
  cs_User_Agent STRING,
  s_ip STRING,
  sc_bytes STRING,
  cs_bytes STRING,
  x_virus_id STRING  )
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "([\\-0-9]*) ([\\:0-9]*) ([\\d]*) ([\\.a-z0-9]*) ([\\-a-z0-9]*) ([\\-a-z0-9]*) ([\\-a-z0-9]*) ([\\w]*) (\\\"[\\w]*\\\") ([\\.\\-\\=\\&:\\/\\?a-z0-9]*) ([\\d]*) ([\\_\\w]*) ([\\w]*) ([\\/\\w]*) ([\\w]*) ([\\.\\w]*) ([\\d]*) ([\\.\\-\\=\\&:\\/\\?a-z0-9]*) ([\\.\\-\\=\\&:\\/\\?a-z0-9]*) ([\\.\\w]*) (\\\"[\\w\\W]*\\\") ([.:a-z0-9]*) ([\\d]*) ([\\d]*) ([\\-a-z0-9]*)",
  "output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s %10$s %11$s %12$s %13$s %14$s %15$s %16$s %17$s %18$s %19$s %20$s %21$s %22$s %23$s %24$s %25$s"
)
STORED AS TEXTFILE
LOCATION '/user/hdfs/Data'
tblproperties ("skip.header.line.count"="6");

我已经在 rubular 和少数其他正则表达式验证工具中对其进行了测试，这些工具都通过了，但是当我从表中选择时，我只收到 NULL 值；

谢谢，丹尼尔

【问题讨论】：

标签： hadoop hive

【解决方案1】：

我不得不阅读一个长日志文件，解决它的过程是：

用这个创建正则表达式 1)https://regex101.com/#java

2) 只替换 "\w" "\s" 和 "\w" 为 "\w"

在每个括号内，我使用“+”而不是“*”来表示“一个或多个 a”。

如果没有 2)，结果是整行的值为 NULL，但在所有特殊字符添加双“\”后，测试成功解析。

【讨论】：

* 只替换 "\\s" 和 "\\w" 的 "\w" 和 "\s"