【问题标题】:Send CSV File To Elasticsearch With No Success Using Logstash使用 Logstash 将 CSV 文件发送到 Elasticsearch 但没有成功
【发布时间】:2021-09-01 10:34:23
【问题描述】:

我是第一次尝试使用logstash,我的目标是通过logstash发送一个csv文件到elasticsearch,然后在kibana仪表板中使用来显示信息。

我的操作系统是 Windows 10。

Kibana 和 elastic 运行良好。

当我尝试运行 logstash 时,它正在运行,但堆栈在“管道运行”行上,如下所示:

logstash run

当我键入 GET 命令时,使用 kibana 的 devTools 搜索时,文件不会出现。

我的logstash配置文件是这样的:

input {
    file {
        path => "C:/TestsFinalProjectRuppin/Sample_Log_01_01_8_6.15.2021_15941_PM"
        start_position => "beginning"
    }
}

output {
    elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "Sample_Log_01_01_8_6.15.2021_15941_PM"
    }
    stdout { codec => rubydebug }
}

stdout 用于查看它是否向控制台打印了一些内容,但除了“管道运行”行之外什么也没有成功。

需要注意的是,我尝试按照elasticsearch站点的logstash教程中所说的进行操作,但没有成功。

提前感谢所有帮助者。

【问题讨论】:

    标签: csv file elasticsearch logstash


    【解决方案1】:

    问题调试: 在输出部分删除弹性搜索部分..并只保留标准输出并查看控制台是否出现问题。 还要检查logstash日志文件..如果那里有任何错误 如果是,则可能是索引名称问题.. 先尝试一些简单的索引名称。

    【讨论】:

    • 首先谢谢,我试过了,但即使只有标准输出,控制台仍然显示与以前相同的屏幕,我没有看到任何错误只有警告logstash文件夹我检查了文件夹日志并在其中我检查文件logstash-deprecation.log:logstash-deprecation.log [2021-06-16T18:22:16,030][WARN ][deprecation.logstash.outputs.elasticsearch] Relying on default value of `pipeline.ecs_compatibility`, which may change in a future major release of Logstash. To avoid unexpected changes when upgrading Logstash, please explicitly declare your desired ECS Compatibility mode.
    • 只有警告.. :\
    • 如果该索引 Sample_Log_01_01_8_6.15.2021_15941_PM 已创建,还要检查 elasticsearch。 localhost:9200/_cat/indices。您的文件位于 C 盘,因此也可能是权限问题
    • 未创建。如果是权限问题,如何解决,将其移至桌面?
    • 如果你想重读一个文件,你需要在windows中将sincedb_path设置为NUL,而不是NULL。使用 NULL 和 2 L,您将读取的最后一个位置保存到名为 NULL 的文件中,因此当您尝试再次读取它时,它将无法工作,因为它已被读取,设置为 NUL不会保存上次读取的位置,因此您可以重新读取文件。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-11-11
    • 1970-01-01
    • 1970-01-01
    • 2019-12-15
    • 1970-01-01
    • 1970-01-01
    • 2022-01-14
    相关资源
    最近更新 更多