ELK 堆栈拉入旧日志答案

【问题标题】：ELK stack pulling in older logsELK 堆栈拉入旧日志
【发布时间】：2014-05-22 14:24:13
【问题描述】：

我对 ELK（elasticsearch、logstash kibana）堆栈仍然很陌生，我在制作我想在 kibana 中显示的日志时遇到了一些问题。

我看到的是一个较旧的无关日志。

当我在嵌入式模式下运行弹性搜索或运行独立弹性搜索时，我会看到它。

当我使用 out put 到标准输出运行它时，这是我期望的日志，但是当我在 kibana 上查看它时，它甚至是更旧的甚至不相关的日志。

我已尝试删除 since db 文件，但仍然没有帮助。

是否有我可能需要删除的缓存索引的额外文件？

任何帮助将不胜感激！！！

编辑：这是我的logstash conf。

input 
{ 
    file 
    { 
        path=> ["/Users/me/logs/m1/2014-05-21/consumer/bp1standalone2-0/*"] 
        sincedb_path => "./sincebb.xxx" 
        start_position => "beginning" 
    } 
} 

filter
{
    grok
    {   
        patterns_dir => "../patterns"
        match => [ "message", "%{CONSUMERLOGPARSER}" ]
    }
}
output 
{ 
    elasticsearch 
    { 
        embedded => true 
    } 
}

【问题讨论】：

看起来弹性搜索使用了某种类型的缓存......我似乎无法追踪并清除它。
找不到任何问题。您是否尝试过在没有自定义过滤器的情况下运行 logstash？也许您的过滤器与您的日志文件不正确匹配并跳过数据？
当我只使用标准输出运行它时{} 我得到了我所期望的。但是当我使用 elasticsearch 运行它时，无论是使用standaolne istance 还是嵌入的，它都会提取旧文件。即使我重命名了上述文件。

标签： elasticsearch logstash kibana

【解决方案1】：

没有额外的缓存要删除，是因为 db 文件存储了 logstash 到达的日志文件中的位置。但是，如果选项 start_position 是“开始”，则忽略 db 文件并从头开始处理文件。

【讨论】：