【问题标题】:How to import mysql Data to Elasticsearch?如何将mysql数据导入Elasticsearch?
【发布时间】:2020-02-18 17:09:12
【问题描述】:

我一直在搜索和阅读有关如何将 mysql 数据导入 ES 并通过创建 logstash 文件并每分钟运行一次来​​获得最佳解决方案的文档。但最后,与我的要求相比,它的效率并不高(我必须在 logstash 中的每个表上运行每个查询,这不切实际)。

每次用户处理我的应用程序(平台上有很多用户)时,我都必须将整个 MySQL 数据库导入 Elasticsearch,包括映射、表关系和数据。

我已经阅读了this link,但这对我没有帮助。有什么建议 ?谢谢

【问题讨论】:

    标签: mysql elasticsearch logstash


    【解决方案1】:
    • 将风暴数据插入 MySQL
    • 使用 Logstash 将数据导入 Elasticsearch
    • 创建 Kibana 仪表板

    您可以使用 logstash 及其 jdbc 输入从您的数据库中读取数据并将 json 推送到 elasticsearch。 https://www.elastic.co/guide/en/logstash/current/installing-logstash.html

    https://qbox.io/blog/migrating-mysql-data-into-elasticsearch-using-logstash

    浏览这些内容并按照此处的说明进行操作。

    【讨论】:

    • 感谢@Wijayanga 提出这个建议,我已经创建了logstash 文件并将一个表迁移到了Elasticsearch。我的目的是在一次执行中迁移整个数据库(或许多表)-> 在同一个 logstash 文件中。你对这个过程有什么想法吗?
    • 我认为您可以使用多个管道来完成此操作。但是,我不确定是否检查此处的配置。 elastic.co/guide/en/logstash/current/…你不能在logstash中使用jdbc的多个输入discuss.elastic.co/t/…
    猜你喜欢
    • 2019-01-22
    • 2018-01-10
    • 1970-01-01
    • 2017-04-29
    • 2022-01-11
    • 2015-10-13
    • 1970-01-01
    • 2021-01-11
    • 1970-01-01
    相关资源
    最近更新 更多