本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用

数据同步

  界面如下:

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  具体流程:

    1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据

    2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据

    3、使用ConvertJSONToSQL把json数据转化为sql语句

    4、使用PutSQL把数据存入数据库。

    5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分

    6、EvaluateJsonPath提取json中的某个属性作为参数

    7、ReplaceText根据参数编写update语句进行更新操作

    8、PutSQL更新数据库

  传递关系时注意:本例仅传递成功的数据,失败的不传递

  ExecuteSQL

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  DBCPConnectionPool

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  ConvertAvroToJSON

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  ConvertJSONToSQL

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  PutSQL

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  SplitJson

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  EvaluateJsonPath

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  ReplaceText

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  PutSQL

    【NIFI】 实现数据库到数据库之间数据同步
    




【NIFI】 Apache NiFI 安装及简单的使用

  连接各个组件,然后启动所有组件,即可运行

 

各组件的具体说明请参考官方文档:http://nifi.apache.org/docs/nifi-docs/

  

  

 

相关文章: