如何自动将数据从mysql更新到logstash

Question

目前我正在使用 Mysql 开发 Elastic Stack，一切正常，例如使用 Logstash 在 Elastic-search 上可以使用 mysql 数据库中的数据，但是当在 mysql db 中输入新数据时，我需要重新启动 Logstash，或者可以使用 Schedule 来完成在 Logstash 的配置文件中

input {

  jdbc { 
    jdbc_connection_string => "jdbc:mysql://localhost:3306/testdb"
    # The user we wish to execute our statement as
    jdbc_user => "root"
    jdbc_password => "ankit"
    # The path to our downloaded jdbc driver
    jdbc_driver_library => "/home/ankit/Downloads/mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    #run logstash at an interval of on minute
    #schedule => "* * * * * *"
    # our query
    statement => "SELECT * FROM ghijkl"
    }
    jdbc { 
    jdbc_connection_string => "jdbc:mysql://localhost:3306/testdb"
    # The user we wish to execute our statement as
    jdbc_user => "root"
    jdbc_password => "ankit"
    # The path to our downloaded jdbc driver
    jdbc_driver_library => "/home/ankit/Downloads/mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    #run logstash at an interval of on minute
    #schedule => "* * * * * *"
    # our query
    statement => "SELECT * FROM abcdef"
    }
  }

但这不是一个好方法，我正在考虑使用 web-hooks，但没有可用的资源，我从文档页面尝试了 Logstash HTTP 输入插件，但没有任何帮助。

请帮忙。

Answer 1

您可以使用特殊查询仅下载最近的数据，比如说每 15 分钟一次：

SELECT * FROM ghijkl" WHERE EVENT_TIME_OCCURRENCE_FIELD > :sql_last_value

将插入最新记录的时间戳代替:sql_last_value。首次运行查询时，tracking_column 值设置为 01.01.1970。

Logstash 所需配置：

schedule => "*/15 * * * *"
use_column_value => true
tracking_column => 'EVENT_TIME_OCCURRENCE_FIELD'

对于每个输入，您还应该指定last_run_metadata_path 参数以避免将来出现问题，当您有许多输入并且一些输入使用相同的表但不同的架构时，元数据可能会被覆盖并产生意外结果。

last_run_metadata_path => "PATH_TO_FILE_FOR_META_DATA"