MySQL数据库使用pgchameleon迁移至openGa

　　pgchameleon介绍
　　pgchameleon是一个用Python3编写的实时复制工具，经过内部适配，目前支持MySQL迁移到openGauss。工具使用mysqlreplication库从MySQL中提取rowimages，这些rowimages将以jsonb格式被存储到openGauss中。在openGauss中会执行一个plpgsql函数，解码jsonb并将更改重演到openGauss。同时，工具通过一次初始化配置，使用只读模式，将MySQL的全量数据拉取到openGauss，使得该工具提供了初始全量数据的复制以及后续增量数据的实时在线复制功能。pgchameleon的特色包括：通过读取MySQL的binlog，提供实时在线复制的功能。支持从多个MySQLschema读取数据，并将其恢复到目标openGauss数据库中。源schema和目标schema可以使用不同的名称。通过守护进程实现实时复制，包含两个子进程，一个负责读取MySQL侧的日志，一个负责在openGauss侧重演变更。
　　使用pgchameleon将MySQL数据库迁移至openGauss，通过pgchameleon的实时复制能力，可以大大降低系统切换数据库时的停服时间。
　　pgchameleon在openGauss上的使用注意事项pgchameleon依赖psycopg2，psycopg2内部通过pgconfig检查PostgreSQL版本号，限制低版本PostgreSQL使用该驱动。而openGauss的pgconfig返回的是openGauss的版本号（当前是openGauss2。0。0），会导致该驱动报版本错误，PsycopgrequiresPostgreSQLclientlibrary（libpq）9。1。解决方案为通过源码编译使用psycopg2，并去掉源码头文件psycopgpsycopg。h中的相关限制。pgchameleon通过设置LOCKTIMEOUTGUC参数限制在PostgreSQL中的等锁的超时时间。openGauss不支持该参数（openGauss支持类似的GUC参数lockwaittimeout，但是需要管理员权限设置）。需要将pgchameleon源码中的相关设置去掉。pgchameleon用到了upsert语法，用来指定发生违反约束时的替换动作。openGauss支持的upsert功能语法与PostgreSQL的语法不同。openGauss的语法是ONDUPLICATEKEYUPDATE｛columnname｛expressionDEFAULT｝｝〔，。。。〕。PostgreSQL的语法是ONCONFLICT〔conflicttarget〕DOUPDATESET｛columnname｛expressionDEFAULT｝｝。两者在功能和语法上略有差异。需要修改pgchameleon源码中相关的upsert语句。pgchameleon用到了CREATESCHEMAIFNOTEXISTS、CREATEINDEXIFNOTEXISTS语法。openGauss不支持SCHEMA和INDEX的IFNOTEXISTS选项。需要修改成先判断SCHEMA和INDEX是否存在，然后再创建的逻辑。openGauss对于数组的范围选择，使用的是columnname〔start，end〕的方式。而PostgreSQL使用的是columnname〔start：end〕的方式。需要修改pgchameleon源码中关于数组的范围选择方式。pgchameleon使用了继承表（INHERITS）功能，而当前openGauss不支持继承表。需要改写使用到继承表的SQL语句和表。
　　接下来我们将演示如何使用pgchameleon迁移MySQL数据库至openGauss。
　　配置pgchameleon
　　pgchameleon通过。pgchameleonconfiguration下的配置文件configexample。yaml定义迁移过程中的各项配置。整个配置文件大约分成四个部分，分别是全局设置、类型重载、目标数据库连接设置、源数据库设置。全局设置主要定义log文件路径、log等级等。
　　类型重载让用户可以自定义类型转换规则，允许用户覆盖已有的默认转换规则。目标数据库连接设置用于配置连接至openGauss的连接参数。源数据库设置定义连接至MySQL的连接参数以及其他复制过程中的可配置项目。
　　详细的配置项解读，可查看官网的说明：
　　https：pgchameleon。orgdocumentsv2configurationfile。html
　　下面是一份配置文件示例：
　　globalsettings
　　piddir：。pgchameleonpid
　　logdir：。pgchameleonlogs
　　logdest：file
　　loglevel：info
　　logdayskeep：10
　　rollbarkey：
　　rollbarenv：
　　typeoverrideallowstheusertooverridethedefaulttypeconversion
　　intoadifferentone。
　　typeoverride：
　　tinyint（1）：
　　overrideto：boolean
　　overridetables：
　　postgresdestinationconnection
　　pgconn：
　　host：1。1。1。1
　　port：5432
　　user：opengausstest
　　password：password123
　　database：opengaussdatabase
　　charset：utf8
　　sources：
　　mysql：
　　dbconn：
　　host：1。1。1。1
　　port：3306
　　user：mysqltest
　　password：password123
　　charset：utf8
　　connecttimeout：10
　　schemamappings：
　　mysqldatabase：schmysqldatabase
　　limittables：
　　skiptables：
　　grantselectto：
　　usrmigration
　　locktimeout：120s
　　myserverid：1
　　replicabatchsize：10000
　　replaymaxrows：10000
　　batchretention：1day
　　copymaxmemory：300M
　　copymode：file
　　outdir：tmp
　　sleeploop：1
　　onerrorreplay：continue
　　onerrorread：continue
　　automaintenance：disabled
　　gtidenable：false
　　type：mysql
　　keepexistingschema：No
　　以上配置文件的含义是，迁移数据时，MySQL侧使用的用户名密码分别是mysqltest和password123。MySQL服务器的IP和port分别是1。1。1。1和3306，待迁移的数据库是mysqldatabase。
　　openGauss侧使用的用户名密码分别是opengausstest和password123。openGauss服务器的IP和port分别是1。1。1。1和5432，目标数据库是opengaussdatabase，同时会在opengaussdatabase下创建schmysqldatabaseschema，迁移的表都将位于该schema下。
　　需要注意的是，这里使用的用户需要有远程连接MySQL和openGauss的权限，以及对对应数据库的读写权限。同时对于openGauss，运行pgchameleon所在的机器需要在openGauss的远程访问白名单中。对于MySQL，用户还需要有RELOAD、REPLICATIONCLIENT、REPLICATIONSLAVE的权限。
　　下面开始介绍整个迁移的步骤。
　　创建用户及database
　　在openGauss侧创建迁移时需要用到的用户以及database。
　　在MySQL侧创建迁移时需要用到的用户并赋予相关权限。
　　开启MySQL的复制功能
　　修改MySQL的配置文件，一般是etcmy。cnf或者是etcmy。cnf。d文件夹下的cnf配置文件。在〔mysqld〕配置块下修改如下配置（若没有mysqld配置块，新增即可）：
　　〔mysqld〕
　　binlogformatROW
　　logbinmysqlbin
　　serverid1
　　binlogrowimageFULL
　　expirelogsdays10
　　修改完毕后需要重启MySQL使配置生效。
　　运行pgchameleon进行数据迁移
　　1。创建python虚拟环境并激活
　　python3mvenvvenv
　　sourcevenvbinactivate
　　2。下载安装psycopg2和pgchameleon
　　更新pip：pipinstallpipupgrade
　　将openGauss的pgconfig工具所在文件夹加入到PATH环境变量中。例如：
　　exportPATH｛openGaussserver｝destbin：PATH
　　下载psycopg2源码（https：github。compsycopgpsycopg2），去掉检查PostgreSQL版本的限制，使用pythonsetup。pyinstall编译安装。
　　下载pgchameleon源码（https：github。comthe4thdoctorpgchameleon），修改前面提到的在openGauss上的问题，使用pythonsetup。pyinstall编译安装。
　　3。创建pgchameleon配置文件目录
　　chameleonsetconfigurationfiles
　　4。修改pgchameleon配置文件
　　cd。pgchameleonconfiguration
　　cpconfigexample。ymldefault。yml
　　根据实际情况修改default。yml文件中的内容。重点修改pgconn和mysql中的连接配置信息，用户信息，数据库信息，schema映射关系。前面已给出一份配置文件示例供参考。
　　5。初始化复制流
　　chameleoncreatereplicaschemaconfigdefault
　　chameleonaddsourceconfigdefaultsourcemysql
　　此步骤将在openGauss侧创建用于复制过程的辅助schema和表。
　　6。复制基础数据
　　chameleoninitreplicaconfigdefaultsourcemysql
　　做完此步骤后，将把MySQL当前的全量数据复制到openGauss。
　　可以在openGauss侧查看全量数据复制后的情况。
　　7。开启在线实时复制
　　chameleonstartreplicaconfigdefaultsourcemysql
　　开启实时复制后，在MySQL侧插入一条数据：
　　在openGauss侧查看testdecimal表的数据：
　　可以看到新插入的数据在openGauss侧成功被复制过来了。
　　8。停止在线复制
　　chameleonstopreplicaconfigdefaultsourcemysql
　　chameleondetachreplicaconfigdefaultsourcemysql
　　chameleondropreplicaschemaconfigdefault
　　更多内容请参考：
　　https：docs。opengauss。orgzhdocs3。1。0docsBriefTutorialBriefTutorial。html