OracleDML/DDL同步数据(OGG_12.2_for_Windows)

创新互联公司是一家专业提供衢江企业网站建设,专注与网站设计制作、成都网站制作、H5响应式网站、小程序制作等业务。10年已为衢江众多企业、政府机构等服务。创新互联专业网站建设公司优惠进行中。

Oracle DML/DDL 同步数据 (OGG_12.2_for_Windows)

Oracle DML/DDL 同步数据 (OGG_12.2_for_Windows)1

一、环境准备并安装 GoldenGate3

1、基本环境 3

2、配置日志模式 3

3、创建 GoldenGate 用户帐号4

4、安装 GoldenGate 软件5

5、模拟生产库，初始化数据 5

二、  GoldenGate DML 同步配置6

1 、GoldenGate DML 同步源端配置6

1、源 MGR 进程6

2 、配置 Extract 进程组7

3 、配置 Pump 进程组8

4 、目标端初始化9

2 、GoldenGate DML 同步目标端配置9

1 、 目标端 MGR 进程10

2 、添加检查表10

3 、添加 checkpoint 表11

4、配置目标端 Peplicat 进程组11

5、可以查看 checkpoint 状态12

6、验证同步 12

三： GoldenGate DDL 同步配置12

1 、支持 DDL 复制运行脚本12

2、修改 extract 进程的 params 文件14

3、修改目标端 replicat 进程的 params 文件15

4、测试 16

5、验证 16

四、常见问题 16

一、环境准备并安装 GoldenGate

1、基本环境

1)  源端

IP 地址： 10.6.252.44

数据库： Oracle 11.2.0.4

SID: cjc

操作系统版本： Windows 7

ogg 版本： Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401

ggs_Windows_x64_shiphome.zip

2)  目标端

IP 地址： 10.11.82.56

数据库： Oracle 11.2.0.4

SID: chenjch

操作系统版本： Windows 7

ogg 版本： Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401

ggs_Windows_x64_shiphome.zip

2、配置日志模式

#  源服务器端

(1) 配置归档模式

sqlplus / as sysdba

shutdown immediate;

startup mount;

alter database archivelog;

alter database open;

(2) 配置日志模式 ( 打开强制规档与补充日志模式 )

alter database add supplemental log data; 

alter database force logging;

ALTER SYSTEM SET ENABLE_GOLDENGATE_REPLICATION = TRUE SCOPE=BOTH;

alter system set recyclebin=off scope=spfile; 

(3) 查看配置结果：

SQL> select log_mode,supplemental_log_data_min,force_logging from v$database;

LOG_MODE    SUPPLEME FOR

------------ -------- ---

ARCHIVELOG  YES      YES

3、创建 GoldenGate 用户帐号

su - oracle

sqlplus / as sysdba;

create tablespace ogguser datafile 'D:\APP\ADMINISTRATOR\ORADATA\CJC\ogguser.dbf' size 10m autoextend on next 1m maxsize unlimited;

create tablespace ogguser datafile 'D:\APP\ADMINISTRATOR\ORADATA\CHENJCH\ogguser.dbf' size 10m autoextend on next 1m maxsize unlimited;

create user ogguser identified by ogguser

default tablespace ogguser

temporary tablespace temp;

grant connect,resource,dba to ogguser;

4、安装 GoldenGate 软件

ogg12 版本安装是图形界面，选择安装版本 (11);

D:\ogg\ggs_Windows_x64_shiphome\Disk1\setup.exe

启动图形界面后，选择

OGG 目录 :D:\app\Administrator\product\11.2.0\oggcore_1 --- 需要提前创建

Oracle 目录 :D:\app\Administrator\product\11.2.0\dbhome_1

直接安装即可；

安装后， D:\app\Administrator\product\11.2.0\oggcore_1 下会包含所有目录，无需执行 create subdirs 命令；

5、模拟生产库，初始化数据

建立测试用户及初始化数据

create user test identified by test;

grant connect ,resource ,dba to test;

conn test/test

create table test (id number ,name varchar2(20));

创建包含 CLOB 字段的表并初始化

create table t_clob(tid number,c_clob clob);

二、  GoldenGate DML 同步配置

1 、GoldenGate DML 同步源端配置

1)  先配置 DML 同步

cd D:\app\Administrator\product\11.2.0\dbhome_1

ggsci.exe 

dblogin userid ogguser password ogguser

1、源 MGR 进程

1)  编辑主进程组

edit params mgr

PORT 7809

dynamicportlist 7800-8000

autorestart extract *,retries 5,waitminutes 2,resetminutes 5

PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 7

LAGREPORTHOURS 1  

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

说明 :

port  指定 mgr 进程通信端口

dynamicportlist  表示 mgr 进程可以为源与目的端动态通信指定端口 ,ogg12 已经废弃；

autorestart extract*  表示自动重启 extract 进程组，每 2 分钟尝试重启所有进程，重试 5 次，每 5 分钟清零。

minkeepdays 7   队列传递结束后 , 依然保留本地队列 7 天

LAGREPORTHOURS 1         /*  每隔 1 小时检查延迟报告 

LAGINFOMINUTES 30        /*  每隔 30 分钟检查延迟 , 如果超过延迟阈值 , 将写入错误日志 

LAGCRITICALMINUTES 45    /* 延迟阈值 45 分钟

2)  启动主管理进程

start mgr

2 、配置 Extract 进程组

1)  编辑配置文件

edit param ext1

extract ext1

setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

userid ogguser,password ogguser

exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd

table test.*;

说明 :

extract ext1 定义 extract 进 ?? 名字

dynamicresolution

setenv 设置环境变量

userid  登录数据库

exttrail 指定本地 trail 文件地址

table  定义同步的表

AMERICAN_AMERICA.AL32UTF8  实验环境的字符集，可用 SELECT userenv('language') from dual; 查出

TRANLOGOPTIONS  CONVERTUCS2CLOBS  clob 大字段的转换

GETTRUNCATES  获取 Truncate 操作

tranlogoptions rawdeviceoffset 0    /*  裸设备文件偏移量 (AIX 系统专有参数 ) ，此实验不用

2)  添加抽取进程

add extract ext1,tranlog,begin now

3)  添加本地 trail 文件

add exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd,extract ext1

说明 :

创建本地 trail 文件，主 extract 进程负责写这部分文件， pump 负责把这部分文件传到目标服务器端。

4)  启动服务

start extract ext1

3 、配置 Pump 进程组

1)  编辑配置文件

edit param extpump

extract extpump

dynamicresolution

passthru

rmthost 10.11.82.56,mgrport 7809,compress

rmttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\mb

table test.*;

2)  添加 pump 进程

add extract extpump,exttrailsource D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd

3)  添加远程 trail 文件

add rmttrail /ogg/app/oracle/dirdat/mb,extract extpump

说明 :  指定远程 trail 文件

4)  启动 pump 进程

start extract extpump

至此：源端配置完成，查看相关进程是剖正常启动

命令：

info all  查看所有进程的状态

view report ext1  可查看失败进程的报错

4 、目标端初始化

建立测试用户及初始化数据

create user test identified by test;

grant connect ,resource ,dba to test;

conn test/test

create table test (id number ,name varchar2(20));

创建包含 CLOB 字段的表并初始化

create table t_clob(tid number,c_clob clob);

2 、GoldenGate DML 同步目标端配置

安装 ogg 软件，安装目录和原服务器一样，安装过程忽略

数据库上进行配置，创建用户，授权

create user ogguser identified by ogguser

default tablespace ogguser

temporary tablespace temp;

grant connect,resource,dba to ogguser;

1 、目标端 MGR 进程

cd D:\app\Administrator\product\11.2.0\dbhome_1

ggsci.exe 

dblogin userid ogguser password ogguser

1)  编辑配置文件

edit param mgr

port 7809

dynamicportlist 7800-8000

autostart er *

autorestart extract *, waitminutes 2, resetminutes 5

lagreporthours 1

laginfominutes 3

lagcriticalminutes 5

purgeoldextracts D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\rt*, usecheckpoints, minkeepdays 3

2)  启动

start mgr

2 、添加检查表

说明 :  当我们在 GLOBALS  文件里指定了默认的 checkpoint  之后，新的 Replicat groups  在创建时会自动使用这个参数，不需要其他指令

1)  编辑全局配置文件

GGSCI (dg2) 4> edit param ./GLOBALS

CHECKPOINTTABLE ogguser.checkpoint

2 ） exit # 这里需要退出 ggsci 终端

3 、添加 checkpoint 表

./ggsci

GGSCI (dg2) 1> dblogin userid ogguser password ogguser

GGSCI (dg2 as ogguser@mbdb) 2> add checkpointtable ogguser.checkpoint

4、配置目标端 Peplicat 进程组

1)  编辑配置文件

edit params repl

replicat repl

userid ogguser,password ogguser

reperror default,discard

discardfile D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc,append,megabytes 4096 ----megabytes 只过小可能会导致 repl 无法启动

map test.*, target test.*;

2)  添加复制进程

add replicat repl,exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\mb, CHECKPOINTTABLE ogguser.checkpoint

3)  启动进程

start repl -----aftercsn

5、可以查看 checkpoint 状态

su - oracle

sqlplus ogguser/ogguser

SQL> select tname from tab;

TNAME

-------------------------------------

CHECKPOINT TABLE

CHECKPOINT_LOX TABLE

select * from checkpoint;

注 1 ： ogg_11.1.1.1.2 只有 CHECKPOINT 一张表。

注 2 ： ogg_11.2.x.x.1 之后的版本有 CHECKPOINT,CHECKPOINT_LOX 两张表。

查看相关进程是否正常启动

info all 

6、验证同步

源端对 test 用户下所有表进行 insert,update,delete 操作，确保目标端可以正常同步所有 DML 操作产生的数据；

三： GoldenGate DDL 同步配置

1 、支持 DDL 复制运行脚本

#  服务器源端配置

1)  指定数据库模式

D:\app\Administrator\product\11.2.0\oggcore_1\ggsci.exe 

GGSCI (dg1) 1> edit param ./GLOBALS

ggschema ogguser

GGSCI (dg1) 3> stop mgr

2)  安装 DDL 对象

进入到 ogg 的安装目录，此实验为 D:\app\Administrator\product\11.2.0\oggcore_1

sqlplus / as sysdba

SQL> grant dba to ogguser;

SQL> @marker_setup  说明 :  均指定用户 ogguser

SQL> @ddl_setup  说明 : 11.1.1.2 需要手动输入  ogguser,INITIALSETUP,yes

SQL> @role_setup

SQL> grant GGS_GGSUSER_ROLE to ogguser;

SQL> @ddl_enable

SQL> @marker_status.sql

注 1:  执行 dbmspool 包将在数据库中创建 DBMS_SHARED_POOL 包，之后 ddl_pin 包需要用到

SQL> @?/rdbms/admin/dbmspool.sql

注 2: 执行 ddl_pin.sql 通过 dbms_shared_pool.keep 存储过程将 DDLReplication 相关对象 keep 在共享池中，以保证这些对象不 RELOAD ，提升性能。

SQL> @ddl_pin.sql ogguser

2、修改 extract 进程的 params 文件

#  服务器源端配置

# source 端修改 extract 进程的 params 文件，添加 "ddl include all" 参数，重启 extract 进程

1)  停止 ext1 进程

GGSCI (test) 2> stop extract ext1

2)  编辑配置文件

GGSCI (test) 3> edit params ext1

extract ext1

dynamicresolution

setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

userid ogguser,password ogguser

exttrail /ogg/app/oracle/dirdat/yd

report at 1:00

reportrollover at 1:00

ddl include all

ddloptions addtrandata,report

GETTRUNCATES

TRANLOGOPTIONS  CONVERTUCS2CLOBS

table test.*;

#  说明：加了两行 tranlogoption  与  ddl

3) 启动 mgr,eora 进程

GGSCI (test) 4> start mgr

GGSCI (test) 5> start extract ext1

4)  查看进程启动情况

GGSCI (test) 6> info extract ext1

3、修改目标端 replicat 进程的 params 文件

#  目标服务器配置

# target 端修改 replicat 进程的 params 文件，

添加 "ddlerror default ignore retryop maxretries 3 retrydelay 5"  等参数，重启 replicat 进程，操作如下

1)  停止 mgr 进程

GGSCI (slave) 1> stop mgr

2)  停止 repl 进程

GGSCI (slave) 1> stop replicat repl

3)  编辑 repl 配置文件

GGSCI (slave) 1> edit params repl

GGSCI (slave) 2> view params repl

replicat repl

userid ogguser,password ogguser

reperror default,discard

discardfile D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc,append,megabytes 4096

ddloptions report

ddlerror default ignore retryop maxretries 3 retrydelay 5

ddlerror default discard

ddlerror default ignore retryop

map test.*, target test.*;

4)  启动 rora_t1 进程

GGSCI (slave) 4> start mgr #  会自动启动 repl 进程

GGSCI (slave) 5> info replicat repl

4、测试

在源端 test 用户创建一个表，查看目标端是否成功创建。

create table t1(id number);

5、验证 

在目标端查看 t1 表及数据是否同步过来

四、常见问题

问题一：

insert 和 delete 可以同步， update 不能同步；

解决方案：

ggsci > dblogin userid gg, password gg

ggsci > add trandata test.*

问题二：

repl 进程无法启动

查看日志

D:\app\Administrator\product\11.2.0\oggcore_1\ggserr.log

D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc

megabytes 值过小，可能会引起 rep1 进程 ABENDED ；

欢迎关注我的微信公众号"IT小Chen"，共同学习，共同成长！！！