客快物流大数据项目(二十四)：OGG安装部署

目录

OGG安装部署

一、配置Oracle11gR2数据库

1、Oracle11gR2打开归档模式

2、Oracle开启辅助日志和补充日志

二、安装OGG源端

1、解压和安装OGG源端软件包

2、在Oracle中创建OGG相关的用户和表空间

3、OGG源端初始化

三、配置OGG源端

1、Oracle创建测试表

2、配置OGG的全局变量 

3、​​​​​​​配置管理器MGR进程

4、添加复制表

5、配置extract进程

​​​​​​​6、配置pump进程

7、​​​​​​​配置define文件

四、​​​​​​​配置OGG目标端

1、解压和安装OGG目标端软件包

2、OGG目标端初始化

3、​​​​​​​拷贝源端的define文件到目标端

4、​​​​​​​安装zookeeper和Kafka

5、​​​​​​​配置管理器MRG进程

6、​​​​​​​配置checkpoint

7、配置Replicate进程

8、​​​​​​​添加trail文件到replicate进程

9、​​​​​​​配置kafka.props

10、​​​​​​​最后确认所有的进程

五、​​​​​​​OGG测试

1、启动OGG的源端和目标端

2、测试OGG的数据采集

3、注意事项

4、​​​​​​​错误日志位置

​​OGG安装部署

一、配置Oracle11gR2数据库

1、Oracle11gR2打开归档模式

• 验证数据库是否开启自动归档

Automatic archival是Disabled状态，因为Oracle默认是不开启自动归档的

•  开启自动归档

以DBA的身份连接数据库，执行命令：

conn /as sysdba

关闭数据库，执行命令：

shutdown immediate

启动并装载数据库，但没有打开数据文件，该命令常用来修改数据库运行模式或恢复数据库。执行命令：

startup mount

执行开启归档命令：

alter database archivelog;

执行打开数据库命令：

alter database open;

执行自动归档命令：

alter system archive log start;

•  验证是否开启自动归档成功

执行归档查询命令：archive log list

Automatic archival变成了Enabled状态，表示已经开启自动归档成功

2、Oracle开启辅助日志和补充日志

• 验证数据库是否开启辅助日志和补充日志

执行SQL语句验证：select force_logging,supplemental_log_data_min from v$database;

当显示NO的时候表示没有开启，需要调整

• 开启数据库的辅助日志和补充日志

开启强制日志后数据库会记录除临时表空间或临时回滚段外所有的操作，命令：

alter database force logging;

开启辅助日志命令：alter database add supplemental log data;

开启主键附加日志命令：alter database add supplemental log data (primary key) columns;

开启全列附加日志命令：alter database add supplemental log data (all) columns;

•  检查数据库是否成功开启辅助日志和补充日志

执行SQL语句验证：select force_logging,supplemental_log_data_min from v$database;

当显示为YES的时候表示开启成功。

二、安装OGG源端

 1、解压和安装OGG源端软件包

操作步骤说明

1 创建OGG源端的目录

使用root用户创建：mkdir /u01/app/ogg/src

2 添加OGG源端的目录到oracle用户的环境变量中（需要切换到oracle用户操作）

su - oracle

vim ~/.bash_profile

export OGG_SRC_HOME=/u01/app/ogg/src

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib

source ~/.bash_profile

退出oracle用户shell命令：exit

3 解压OGG源端软件

OGG源端的软件包是V34339-01.zip，存放在/export/softwares/oracle/ogg目录下。需要使用root用户解压

cd /export/softwares/oracle/ogg

创建src文件夹是用来存放解压后的OGG源端软件

mkdir /export/softwares/oracle/ogg/src/

解压OGG源端软件到src文件夹下

unzip /export/softwares/oracle/ogg/V34339-01.zip -d /export/softwares/oracle/ogg/src/

cd /export/softwares/oracle/ogg/src/

fbo_ggs_Linux_x64_ora11g_64bit.tar文件才是OGG源端的软件包，解压该文件到/u01/app/ogg/src目录下，执行命令：

tar -xf fbo_ggs_Linux_x64_ora11g_64bit.tar -C /u01/app/ogg/src

4 配置/u01/app/ogg/src目录及其所有文件的权限

使用root用户执行授权命令：

chown -R oracle:oinstall /u01/app/ogg/src

可以看到/u01/app/ogg/目录下的src属于oracle用户和oinstall组

可以看到/u01/app/ogg/src目录下的所有文件都属于oracle用户和oinstall组

2、在Oracle中创建OGG相关的用户和表空间

操作步骤说明

1 创建表空间在磁盘中的物理路径（需要到root用户操作）

mkdir -p /u01/app/oracle/oggdata/orcl/

chown -R oracle:oinstall /u01/app/oracle/oggdata/orcl

2 进入sqlplus

切换到oracle用户：su - oracle

登录sqlplus：sqlplus "/as sysdba"

3 创建oggtbs表空间

create tablespace oggtbs datafile '/u01/app/oracle/oggdata/orcl/oggtbs.dbf' size 500M autoextend on;

4 创建ogg用户(用户名和密码都是ogg)

create user ogg identified by ogg default tablespace oggtbs;

5 赋予ogg用户dba权限

grant dba to ogg;

3、​​​​​​​OGG源端初始化

操作步骤说明

1 使用oracle用户登录源端OGG的命令行中

su – oracle

cd $OGG_SRC_HOME

./ggsci

2 初始化源端OGG目录

注意：如果不在OGG_SRC_HOME下，初始化OGG目录时会报错

create subdirs

退出OGG命令行客户端：exit

3 检查源端OGG初始化后的目录

初始化完成后，可以查询在$OGG_SRC_HOME下是否存在dirchk、dirdat、dirdef、dirjar、dirout、dirpcs、dirprm、dirrpt、dirsql、dirtmp共11个目录。

三、​​​​​​​配置OGG源端

1、​​​​​​​Oracle创建测试表

2、​​​​​​​配置OGG的全局变量

• 使用oracle用户进入OGG_SRC_HOME目录下

• 进入源端OGG命令行

• 使用oracle中的ogg用户登录

• 配置全局变量

edit param ./globals

3、​​​​​​​配置管理器MGR进程

• 进入源端OGG命令行

./ggsci

创建mgr进程：edit param mg

PORT 7809

DYNAMICPORTLIST 7810-7909

AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3

PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3

4、添加复制表

• 进入源端OGG命令行

5、配置extract进程

配置Extract进程：edit param extkafka

新增内容：

extract extkafka

dynamicresolution

SETENV (ORACLE_SID = "orcl")

SETENV (NLS_LANG = "american_america.AL32UTF8")

userid ogg,password ogg

exttrail /u01/app/ogg/src/dirdat/to

table test_ogg.test_ogg;

​​

6、配置pump进程

配置Pump进程：edit param pukafka

新增内容：

extract pukafka

passthru

dynamicresolution

userid ogg,password ogg

rmthost localhost mgrport 7809

rmttrail /u01/app/ogg/tgr/dirdat/to

table test_ogg.test_ogg;

extract进程名称；passthru即禁止OGG与Oracle交互，我们这里使用pump逻辑传输，故禁止即可；dynamicresolution动态解析；userid ogg,password ogg即OGG连接Oracle数据库的帐号密码rmthost和mgrhost即目标端(kafka)OGG的mgr服务的地址以及监听端口；rmttrail即目标端trail文件存储位置以及名称。

7、​​​​​​​配置define文件

注意：该文件用来在异构数据源之间传输时，需明确知道表之间的映射关系，比如：

Oracle与MySQL，Hadoop集群（HDFS，Hive，kafka等）等之间数据传输可以定义为异构数据类型的传输，故需要定义表之间的关系映射，在OGG命令行执行：

配置define文件：edit param test_ogg

defsfile /u01/app/ogg/src/dirdef/test_ogg.test_ogg

userid ogg,password ogg

table test_ogg.test_ogg;

生成表schema文件：（在OGG_SRC_HOME目录下执行(oracle用户)）

./defgen paramfile dirprm/test_ogg.prm

将生成的/u01/app/ogg/src/dirdef/test_ogg.test_ogg发送的目标端ogg目录下的dirdef里：

scp -r /u01/app/ogg/src/dirdef/test_ogg.test_ogg /u01/app/ogg/tgr/dirdef/

因为目标端目录还没有创建，因此发送文件可能会失败，所以执行完目标端配置后发送即可

四、​​​​​​​配置OGG目标端

1、解压和安装OGG目标端软件包

• 创建OGG目标端的目录

• 添加OGG目标端的目录到oracle用户的环境变量中

从root用户切换到oracle用户：su oracle

注意【非常重要】：在这里，需要调整oracle用户的.bash_profile，主要是更新LD_LIBRARY_PATH的值，来确保源端和目标端的ggsci命令都可以正常使用。如果不更新的话，目标端ggsci命令可以使用，但源端的ggsci命令无法使用，会报错./ggsci: error while loading shared libraries: libclntsh.so.11.1: cannot open shared object file: No such file or directory

vim ~/.bash_profile

export OGG_TGR_HOME=/u01/app/ogg/tg

export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$ORACLE_HOME/lib:/usr/lib

source ~/.bash_profile

退出oracle用户shell命令：exit

• 解压OGG目标端软件

OGG源端的软件包是V971332-01.zip，存放在/export/softwares/oracle/ogg目录下。需要使用root用户解压

cd /export/softwares/oracle/ogg

创建tgr文件夹是用来存放解压后的OGG目标端软件

mkdir -p /export/softwares/oracle/ogg/tgr/

解压OGG目标端软件到tgr文件夹下

unzip /export/softwares/oracle/ogg/V971332-01.zip -d /export/softwares/oracle/ogg/tgr/

cd /export/softwares/oracle/ogg/tgr/

ggs_Adapters_Linux_x64.tar文件是真正的OGG目标端软件包，解压该文件到/u01/app/ogg/tgr目录下，执行命令：

tar -xf ggs_Adapters_Linux_x64.tar -C /u01/app/ogg/tgr/

• 配置/u01/app/ogg/tgr目录及其所有文件的权限

解压后的默认用户和组

使用root用户执行授权命令：

chown -R oracle:oinstall /u01/app/ogg/tg

可以看到/u01/app/ogg/目录下的tgr属于oracle用户和oinstall组。

ll /u01/app/ogg/tg

可以看到/u01/app/ogg/tgr目录下的所有文件都属于oracle用户和oinstall组。

2、OGG目标端初始化

• 使用oracle用户登录目标端OGG的命令行中

可以看到/u01/app/ogg/目录下的tgr属于oracle用户和oinstall组。

su oracle

切换oracle用户时需要重新加载环境变量：source ~/.bash_profile

cd $OGG_TGR_HOME

./ggsci

• 初始化目标端OGG目录

注意：如果不在OGG_TGR_HOME下，初始化目标端OGG目录时会报错

create subdirs

退出OGG命令行客户端：exit

• 检查目标端OGG初始化后的目录

初始化完成后，可以查询在$OGG_TGR_HOME下是否存在dirchk、dircrd、dirdat、dirdef、dirdmp、diretc、dirout、dirpcs、dirprm、dirrpt、dirsql、dirtmp、dirwlt、dirwww共14个目录。

3、​​​​​​​拷贝源端的define文件到目标端

将生成的/u01/app/ogg/src/dirdef/test_ogg.test_ogg发送的目标端ogg目录下的dirdef里：

scp -r $OGG_SRC_HOME/dirdef/test_ogg.test_ogg $OGG_TGR_HOME/dirdef/

4、​​​​​​​安装zookeeper和Kafka

• 安装ZooKeeper(使用root用户操作)

• 安装kafka(使用root用户操作)

5、​​​​​​​配置管理器MRG进程

6、​​​​​​​配置checkpoint

7、配置Replicate进程

8、​​​​​​​添加trail文件到replicate进程

9、​​​​​​​配置kafka.props

• 配置kafka.props

• 配置custom_kafka_producer.properties

10、​​​​​​​最后确认所有的进程

五、​​​​​​​OGG测试

1、启动OGG的源端和目标端

前提：切换到 oracle 账号且启动了 Oracle

注意：要严格按照启动顺序执行：

• 第一步：启动源端mgr进程
• 第二步：启动目标端mgr进程
• 第三步：启动源端extract进程
• 第四步：启动源端pump进程
• 第五步：启动目标端replicate进程

操作步骤说明

1 启动源端mgr进程

cd $OGG_SRC_HOME

./ggsci

查看所有进程状态：info all

启动MANAGER进程：start mg

检查所有进程状态：info all

2 启动目标端mgr进程

cd $OGG_TGR_HOME

./ggsci

启动MANAGER进程：start mg

查看所有进程状态：info all

3 启动源端extract进程

cd $OGG_SRC_HOME

./ggsci

启动EXTRACT进程：start extkafka

查看所有进程状态：info all

4 启动源端pump进程

启动pump进程：start pukafka

查看所有进程状态：info all

5 启动目标端replicat进程

cd $OGG_TGR_HOME

./ggsci

启动replicat进程：start rekafka

查看所有进程状态：info all

6 确认源端和目标端进程运行情况

源端：

目标端：

 2、测试OGG的数据采集

• 使用oracle用户登录到oracle11g数据库(源端)

• 对表进行DML操作(每一条SQL都需要手动执行commit提交)

登录到test_ogg用户下：conn test_ogg/test_ogg

查看该用户拥有的表：select table_name from user_tables;

查看TEST_OGG表的字段信息：

select column_name,data_type from user_tab_columns where table_name = upper('TEST_OGG');

插入数据：insert into test_ogg values(1,'beijing');

执行Commit：commit;

查看kafka是否多出了一个叫做test_ogg的主题

kafka-topics.sh --list --zookeeper server01:2181

然后启动kafka的消费者来消费test_ogg主题的数据：

kafka-console-consumer.sh --bootstrap-server server01:9092 --topic test_ogg --from-beginning

再查看kafka的test_ogg主题下是否有了数据：

执行修改数据(修改id=2的name为china-shanghai)：

update test_ogg set name='china-shanghai' where id=2;

查看kafka中是否有了id为2的china-shanghai的这条记录：

删除id为2的数据：delete test_ogg where id=2

检查kafka是否多个一条被标记为删除的数据：

:{"table":"TEST_OGG.TEST_OGG","op_type":"I","op_ts":"2020-05-28 09:22:18.000129",

{"table":"TEST_OGG.TEST_OGG","op_type":"U","op_ts":"2020-05-28 09:25:17.000140","current_ts":"2020-05-28T09:25:22.085000","pos":"00000000000000001227","before":{},"after":{"ID":1,"NAME":"china-shanghai"}}

• 关于数据文件的检查

如果数据库中发生了事务(都被commit后)操作，会在源端和目标端的dirdat下生成trail数据文件。数据文件名称只能使用2个字母，多了会报错。

当源端发生事务后，检查源端的trail文件：

ll /u01/app/ogg/src/dirdat/

目标端会接收到源端pump进程传过来的数据文件：

ll /u01/app/ogg/tgr/dirdat/

3、注意事项

• 必须严格遵守OGG的启动顺序；
• 必须严格遵守OGG的关闭顺序；
• 如果需要修改OGG的进程，必须先停止，修改成功后，再重启；

4、​​​​​​​错误日志位置