水槽。从 syslogudp 源中去除所有标签答案

【问题标题】：Flume. Strip all tags from syslogudp source水槽。从 syslogudp 源中去除所有标签
【发布时间】：2017-01-05 20:23:46
【问题描述】：

我正在使用带有 syslogudp 源的 apache-flume。我在flume.conf中设置了以下内容：

agent.sources.r1.type = syslogudp
agent.sources.r1.port = 5140
agent.sources.r1.host = localhost
agent.sources.r1.channels = c1

并遵循 nginx.conf 选项：

access_log syslog:server=localhost,tag= ;

因此，我在 sink（kafka 主题）中的所有日志在开头都有 2 个符号。例如：

: 31.130.95.75  1472493421.911  80674   {flags}

有什么办法可以去掉第一个冒号和空格符号？

谢谢

【问题讨论】：

在我的例子中 nginx: 在开始！ nginx: 2016-08-27T18:21:59+08:00"14.88

标签： nginx flume syslog rsyslog

【解决方案1】：

就我而言 nginx：开始！

nginx: 2016-08-27T18:21:59+08:00"14.88.133.152"14.88.133.152"GET"api.xxx.com"/mobile/member/user/bind/push"HTTP/1.1" -"Dalvik/2.1.0 (Linux;U;Android 5.0.2;HTC 802t Build/LRX22G)"1141"200"370"31"127.0.0.1:9000"0.00"-"-"0.082"0.080"-" G7 / rxU9nj ++ 0 / E6pn7 / m0EOZ7WEiWtJOHFePbHgVG8mILk0J2IDVdjQ1R4dr75h2etJxxv6VJ + z5Nk / Kh5Us / bt8NgyhF7STUT3mxFaaO7LmI2DeP / 7YKRwdPcy0SOw0yRo0GrMOBRG0KWbbJbnDn4mURXpx4dkDbbSOt6q4LIbKY4qC + nslbsPM9iZknSEhtnlK1NhvbeH28DgVjz7yGOKYEVZ2wlP9mikwUtqUgl“应用程式= A-angejia; AV = 4.0.1; CCID = 1; GCID =; CH = B48; LNG =; LAT =; net=WIFI;p=android;pm=Android-HTC 802t;osv=5.0.2;dvid=35586705393334084:7a:88:7f:0b:18"-"4000"2000"10"28280

【讨论】：

您可以在 nginx.conf 中为日志配置设置 tag= 开头删除“nginx”。但就我而言，我需要删除冒号和空格。

【解决方案2】：

您可能想看看搜索和替换拦截器 (https://flume.apache.org/FlumeUserGuide.html#search-and-replace-interceptor)

您可以使用拦截器通过正则表达式编辑事件主体。

在您的情况下，修改后的配置如下所示：

agent.sources.r1.type = syslogudp
agent.sources.r1.port = 5140
agent.sources.r1.host = localhost
agent.sources.r1.channels = c1


agent.sources.r1.interceptors = search-replace
agent.sources.r1.interceptors.search-replace.type = search_replace

agent.sources.r1.interceptors.search-replace.searchPattern = ^.*:
agent.sources.r1.interceptors.search-replace.replaceString =

【讨论】：

是的，感谢您指出拦截器。我稍微更改了正则表达式，但与您的版本相差不远。实际上我想从头开始删除冒号+空格，所以正确的正则表达式是 ^:.
@Samriang：感谢您提供的信息。这对于遇到此问题的其他人可能非常有用