一、前言

elasticsearch-bulk-insert-plugin插件,如下图,参数配置不能使用kettle.properties文件设计的变量,不利于作业迁移。考虑到ES支持rest api,尝试使用REST Client组件往ES迁移数据

二、方法

1、转换总览

kettle中使用REST Client组件将mysql数据导入elasticsearch

2、表输入

kettle中使用REST Client组件将mysql数据导入elasticsearch

3、JSON Output

拿到源表数据后转成JSON类型:
kettle中使用REST Client组件将mysql数据导入elasticsearch
kettle中使用REST Client组件将mysql数据导入elasticsearch
此步骤将从mysql表拿到的数据转成了如下格式:
kettle中使用REST Client组件将mysql数据导入elasticsearch

4、JSON Input

还需进一步解析才能获得适合推入ES的json数据:
kettle中使用REST Client组件将mysql数据导入elasticsearch
kettle中使用REST Client组件将mysql数据导入elasticsearch
JSONPath可参考下:https://blog.csdn.net/lwg_1540652358/article/details/84111339

5、REST Client

向ES发送请求:
kettle中使用REST Client组件将mysql数据导入elasticsearch

6、备注

若mysql源表中存在NULL值,依然能插入ES。从mysql数据转成的json为:
kettle中使用REST Client组件将mysql数据导入elasticsearch
查询ES:
kettle中使用REST Client组件将mysql数据导入elasticsearch
使用exists查询字段为null的文档:
kettle中使用REST Client组件将mysql数据导入elasticsearch

相关文章: