OGG 从Oracle备库同步数据至kafka

1. 目的
2. 环境及规划
3. 安装配置JDK
- 3.1. 安装jdk
- 3.2. 配置环境变量
4. 安装Dataguard
5. zookeeper集群
6. kafka集群
7. OGG 安装配置
8. 错误

1 目的

测试物理standby 作为ogg 源端的可行性，效率及安全性。

2 环境及规划

以下数据库及OGG版本是实际目的的最低版本要求。

环境

服务器ip 作用

10.10.100.91 Oracle_primary (zookeeper kafka)

10.10.100.92 Oracle_standby ogg (zookeeper kafka)

10.10.100.98 zookeeper kafka ogg

服务器ip	作用
10.10.100.91	Oracle_primary (zookeeper kafka)
10.10.100.92	Oracle_standby ogg (zookeeper kafka)
10.10.100.98	zookeeper kafka ogg

版本及路径

软件	版本	路径
oracle	11.2.0.4	/u01/app/oracle
zookeeper	3.4.13	/opt/zookeeper-3.4.13
kafka	2.12-2.1.1	/opt/kafka_2.12-2.1.1
ogg for bigdata	12.3.2.1.1	/u01/app/ogg
ogg for oracle	12.3.0.1.4	/u01/app/ogg
jdk	1.8u181	/opt/jdk1.8.0_181

3 安装配置JDK

在所有节点安装。由于OGG 12以上的版本都要求jdk1.8以上。因此需要单独安装jdk。

3.1 安装jdk

tar -xzvf /opt/jdk-8u181-linux-x64.tar.gz -C /opt/jdk1.8.0_181

3.2 配置环境变量

根据规则，现在我们将每个环境中的环境变量进行配置。按如下说明修改 $HOME/.bash_profile：

#添加一行
export JAVA_HOME=/opt/jdk1.8.0_181
# 修改PATH变量
PATH=$JAVA_HOME/bin:$PATH

4 安装Dataguard

4.1 安装备库软件

上传软件并解压上传文件请使用ftp或者类ftp方式等。解压安装包示例:
```
unzip p13390677_112040_Linux-x86-64_1of7.zip
unzip p13390677_112040_Linux-x86-64_2of7.zip
```

编辑响应文件由于参数过多，此处只列出需要调整的内容. :

oracle.install.option=INSTALL_DB_SWONLY
ORACLE_HOSTNAME=pmo2
UNIX_GROUP_NAME=oinstall
INVENTORY_LOCATION=/u01/app/oraInventory
ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1
ORACLE_BASE=/u01/app/oracle/
oracle.install.db.DBA_GROUP=dba
oracle.install.db.OPER_GROUP=oper
oracle.install.db.config.starterdb.globalDBName=orcl
oracle.install.db.config.starterdb.SID=orcl
oracle.install.db.config.starterdb.characterSet=AL32UTF8
oracle.install.db.config.starterdb.memoryOption=true
oracle.install.db.config.starterdb.memoryLimit=1384
oracle.install.db.config.starterdb.password.ALL=Sys123passwd
oracle.install.db.config.starterdb.storageType=FILE_SYSTEM_STORAGE
oracle.install.db.config.starterdb.fileSystemStorage.dataLocation=/u01/app/oracle/oradata
oracle.install.db.config.starterdb.fileSystemStorage.recoveryLocation=/u01/app/oracle/arch

安装软件

cd ~/database/
./runInstaller -silent -force -ignoreSysprereqs -ignorePrereq -showProgress -responseFile /home/oracle/database/response/db_install.rsp

4.2 配置dataguard

4.2.1 主库

```
alter database force logging;
```

alter system set db_unique_name='orcl' scope=spfile;
alter system set log_archive_config='DG_CONFIG=(primary,standby)' scope=both;
alter system set log_archive_dest_1='LOCATION=/u01/app/oracle/arch VALID_FOR=(ALL_LOGFILES,ALL_ROLES) DB_UNIQUE_NAME=orcl' scope=both;
alter system set log_archive_dest_2='SERVICE=standby LGWR ASYNC VALID_FOR=(ONLINE_LOGFILES,PRIMARY_ROLE) DB_UNIQUE_NAME=orcl' scope=both;
alter system set log_archive_format='%t_%s_%r.arc' scope=spfile;

重启主库, 使参数生效。

日志添加规则为原有日志组个数为N, 添加的standby 日志组个数为N+1. 默认数据库的日志为3个，大小为50M.

alter database add standby logfile group 4('/u01/app/oracle/oradata/redo04.log') size 50m;
alter database add standby logfile group 5('/u01/app/oracle/oradata/redo05.log') size 50m;
alter database add standby logfile group 6('/u01/app/oracle/oradata/redo06.log') size 50m;
alter database add standby logfile group 7('/u01/app/oracle/oradata/redo07.log') size 50m;

orapwd file=$ORACLE_HOME/dbs/orapworcl entries=5 force=y ignorecase=y password=oracle

创建完密码文件后，记得在主库修改下sys用户密码。此时的密码，以简单便于使用为主。后期再调整为符合密码规则的密码。

sqlplus / as sysdba
alter user sys identified by oracle;
exit

TNS 文件: $ORACLE_HOME/network/admin/tnsnames.ora
文件内容如下：

primary =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.10.100.91)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl)
    )
  )

standby =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.10.100.92)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl)
      (UA=R)
    )
  )

Table of Contents