logstash 过滤器来解析逗号分隔的日志文件答案

【问题标题】：logstash filters to parse comma separated log filelogstash 过滤器来解析逗号分隔的日志文件
【发布时间】：2019-04-23 02:01:29
【问题描述】：

我有一个如下所示的日志文件：

2019-04-19 08:30:06,477 DEBUG [org.mobicents.smsc.library.CdrGenerator] 2019-04-19 08:30:01.960,466,2,1,01706488575,1,1,success,SMPP,message,3rdPartyName,10614279,null,null,01702993001,412012102179043,null,null,0170260020,0,0,null,0,0,,,,2393,"*466#
nxxxxxxxxxxxxxxx","",,,

我想在 logstash 上过滤此日志，并且只获取和存储几列。如您所见，日志列以逗号分隔，我想忽略除以下所有列：

第 2 列的日期和时间部分（我想将日期和时间作为 2 个不同的列）
第 9 列和第 12 列

【问题讨论】：

标签： logstash logstash-grok logstash-configuration

【解决方案1】：

Logstash 有一个CSV filter，可以为您提供字段中的每一列。好处是它会被正确解析。缺点是您必须从事件中删除不需要的列。

您还可以为 grok 过滤器编写自己的模式。网络上有很多关于此的示例和教程。

【讨论】：