使用多个 csv 生成多种类型

Question

我正在尝试根据各种 csv 在同一索引中生成各种类型。由于我不知道 csv 的数量，因此为每个输入进行输入将是不可行的。 那么有谁知道如何使用文件名生成类型，并在其中分别引入 csv？

input {
  file {
    path => "/home/user/Documents/data/*.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  } 
}


filter { 
    
    csv {
        separator => ","
        skip_header => "true"
        autodetect_column_names => true
        autogenerate_column_names => true
    }
}

output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "final_index"

  }

stdout {}

}

非常感谢

Answer 1

自第 6 版以来，Elasticsearch 索引中已删除同一索引中的多个文档结构，如果文档看起来与索引模板化的方式不同，它将无法将数据发送给它，你可以要做的是确保所有字段都是已知的，并且您有一个包含所有可能字段的通用模板。

您是否有理由将所有这些都放在一个索引中？

如果是用于查询目的或 Kibana，请知道您可以在搜索时使用通配符，并且有 Kibana 的模式。

评论后更新：

使用过滤器通过 grok 提取文件名

filter {
  grok {
    match => ["path","%{GREEDYDATA}/%{GREEDYDATA:filename}\.csv"]
  }
}

并像这样在输出中使用文件名：

elasticsearch {
   hosts => "http://localhost:9200"
   index => "final_index-%{[filename]}"
}