我们在案例一中完成了
kettle案例一抽取gz格式文本内容保存到mongodb
本次尝试从mysql中抽取数据。详细步骤如下:
启动并建立流程
经过案例一的学习,基本使用kettle转换的流程我们已经清楚了,区别只是在于使用的组件不同而已。
我们第一步还是需要先店家Spoon.bat启动kettle。
建立转换流程如下:
表输入—> MongoDB OutPut
配置表输入
配置数据库连接
左键双击表输入配置表输入。
点击新建弹出配置界面。
任意起一个连接名称
主机名称填写mysql的ip
数据库名填写将要连接的数据库名称
端口填写mysql的端口
填写用户名密码
点击测试看看是否能够正确连接。
如果能够正确连接则点击确认。
查询出输入数据
如果对sql熟悉可以直接编辑sql语句,不熟悉的同学可以获取sql查询语句进行可视化的操作,选择表格后点击确定即可。
生成sql语句后,可以预览或者直接确定。
配置MongoDB数据库输出
左键双击MongoDB Output
在configure connection中配置Host和Port
我这里配置的是 内网中的数据库和端口
在Output options中配置Database和Collection,如果每次都清空表的话 选择 Truncate collection。增量更新则不能选择 Truncate collection。
在Mongo document fields中点击Get fields,获取到字段。
启动转换和结果校验
点击界面上的播放按钮即可启动转换。
默认参数点击启动。
如果转换脚本没保存会弹出选择路径框我们先保存,输入任意脚本名称点击保存即可。
启动起来后可以在执行结果的地方看到执行情况
这时候去数据库中查看,已经自动新建了gene库和chip集合,里面不断新增的就是我们抽取的数据
抽取成功。