从 MYSQL 迁移到 Elasticsearch 的最佳方法是什么？答案

【问题标题】：What's the best way to migrate from MYSQL to Elasticsearch?从 MYSQL 迁移到 Elasticsearch 的最佳方法是什么？
【发布时间】：2019-08-20 01:48:40
【问题描述】：

我打算将 MYSQL 日志（数百万条记录）迁移到 ELK，我想知道最好的方法是什么。

我应该为所有记录（sql 数据库）创建一个索引还是应该为每个数据库创建不同的索引？

或者如果有更好的方法，您能建议吗？

顺便说一句，我是 ELK 的新手，论坛不是很有帮助.. 抱歉。

我已经尝试迁移具有至少 1000 条记录的单个数据库，并且成功了。

【问题讨论】：

如果你有可用的日期，我认为在日期索引中分离日志是个好主意，这样可以更容易地清理数据。
创建不同的索引，别忘了id是唯一的索引。不要忘记先设置映射。您的日志是相似的还是真的不同，您需要将它们一起查询还是按类别查询？
@LeBigCat 谢谢你的回复。日志确实不同，我需要它们同时查询。实际上将使用连接语法。
@baudsp 是的，我确实在表中有一个日期列.. 您所说的基于日期的索引到底是什么意思？你能解释一下我将如何做吗？再次感谢您。
使用elasticsearch插件时，在配置索引名时，可以用%{+YYYY.MM.dd}指定索引名，会使用事件的timestamp字段中的日期（见here ）。默认情况下，时间戳是事件到达logstash的日期，但可以用mutate#replace覆盖

标签： mysql elasticsearch migration logstash

【解决方案1】：

迁移也支持基于查询的结果的数据的一种方法是使用 Logstash 中的 JDBC 输入插件。您选择迁移到的索引架构取决于您正在查看哪种用例/您计划进行哪种分析。直接迁移可能无济于事，因为 Elasticsearch 是索引的和非关系的，而不是 MySQL。在推入 Elasticsearch 之前，您可能希望对数据进行反规范化。

【讨论】：