jdk安装包
链接:https://pan.baidu.com/s/16TaQgey-arlK6rw-nyz9rQ 密码:h7gp
zookeeper安装包
链接:https://pan.baidu.com/s/1ahdf9YJIMj2LDYH_VaGtJA 密码:ccrh
otter安装包
链接:https://pan.baidu.com/s/1eDl9nu6Jq_ZbW1KgLHw07g 密码:gk9z
一、安装jdk
1、查看是否存在
which java
2、卸载
mv /usr/bin/java /usr/bin/java.bak
rpm 卸载(前体rpm安装),如果二进制安装直接删除目录
3、解压
cd /data
tar -xvf jdk-8u152-linux-x64.tar.gz
(cdh要求jdk安装在/usr/java/目录下,若没有这个目录则创建)
4、配置全局环境变量
vi /etc/profile
内容:
#my setttings
export JAVA_HOME=/usr/java/jdk1.8.0_111/
export CLASSPATH=.:{JAVA_HOME}lib/tools.jar:PATH:$JAVA_HOME/bin:
5、使上述配置生效
source /etc/profile
6、验证是否成功
java -version
二、安装zookeeper
1、下载zookeeper的包
2、创建目录
/otter/zookeeper/logs 目录名称重要
/otter/zookeeper/data 目录名称重要
3、解压
tar -xvf zookeeper-3.4.10.tar
4、进入zookeeper的conf目录,修改配置文件
1)将zoo_sample.cfg拷贝一份
cp zoo_sample.cfg zoo.cfg
2)将zoo_sample.cfg修改成备份文件
mv zoo_sample.cfg zoo_sample.bak
3)进入zoo.cfg
vi zoo.cfg
修改具体的配置
dataDir=/otter/zookeeper/data
dataLogDir=/otter/zookeeper/logs
clientPort=2180
autopurge.purgeInterval=1 #连接限制
这里我只有一台机器,就没有配置下面三行
server.1=127.0.0.1:2888:3888 (server.1 : 1代表机器ID)
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890
5、启动zookeeper,进入到安装目录的bin下
执行:sh zkServer.sh start
查看运行状态
bash zkServer.sh status
三、配置otter
1、下载相关包(manager、node、SQL脚本)
2、配置MySQL中的otter相关表
1)新建otter数据库
create database otter DEFAULT CHARACTER SET utf8;
2)运行otter的sql脚本
source /data/otter-manager-schema.sql
3、创建文件夹
mkdir /otter/manager
mkdir /otter/node
4、配置manager
1)解压
tar -xvf manager.deployer-4.2.18.tar -C /otter/manager
2)进入/otter/manager/conf下修改otter.properties
cd otter/manager/conf
vi otter.properties
3)启动manager
进入到manager安装页面,执行 ./startup.sh
4)前端展示
在浏览器输入manager机器的ip:8080
出现登录窗口,账号密码都是admin
5)配置zookeeper
根据安装的zookeeper进行填写
6)配置node
5、配置node
1)解压node压缩包,到/otter/node
tar -xvf node.deployer-4.2.18.tar -C /otter/node
2)调整配置文件
vi /otter/node/conf/otter.properties
3)添加a. nid配置
echo 1 > conf/nid
4)进入node安装的bin目录下启动
./startip.sh
5)观察前端页面的变化
6、配置数据源
源数据库
目标数据库
7、配置数据表
源数据库表
目标数据库表
8、配置canal
其他的可以不填,要注意数据库地址要以分号结束
9、配置同步管理
1)创建Channel,只需创建名字,保存就好
2)配置一个pipeline
点击channel的名字,进入配置一个pipeline界面
3)添加映射关系
添加pipeline成功后,点击Pipeline名字
进入映射关系列表页面,点击添加
进入添加映射关系页面
点击保存返回映射关系列表页面,如果源数据表是只同步一个表可以点击下一步,选择需要同步的字段映射关系;
4)启用同步
以上配置,一个简单的同步任务就完成了,返回Channel管理页面
点击“启用”,运行状态就变为“运行”;
现在可以新增一个表,插入记录,查看数据是否同步过去了。