3. 特殊需求配置

本章是一些特殊需求的配置的说明,以及实现的方法。

3.1. 同时迁移全库的所有schema

如果需要迁移多个schema,需要将所有schema写入配置参数transferSchemas,便用英文逗号隔开。如下所示:

etl.global.transferSchemas=schema1,schema2

3.2. 迁移单个schema

如果需要迁移单个schema,需要将该schema写入配置参数transferSchemas,如下所示:

etl.global.transferSchemas=schema

3.3. 只迁移单个表

需要在配置的参数includeTableRegexp写入该表名,详细配置方法参考第四章

etl.global.includeTableRegexp=^tablename$

3.4. 在迁移时排除指定的表

需要在配置的参数excludeTableRegexp写入该表名,并且该表名需要是配置的参数transferSchemas的schema里面的表

etl.global.excludeTableRegexp=^tablename$

3.5. 加快迁移速度

需要使用concurrentThreadCount+batchCount 控制

concurrentThreadCount 迁移时使用的线程数

batchCount 单表迁移时一次批量插入的记录条数,内存不足时不能设置太大,否则可能会导致内存溢出

etl.global.concurrentThreadCount=32
etl.global.batchCount=200000

3.6. 指定迁移的存储过程

需要在配置的参数transferOnlyProcedures写入存储过程名

etl.global.transferOnlyProcedures=procedureName

3.7. 指定迁移的函数

需要在配置的参数transferOnlyProcedures写入函数名

etl.global.transferOnlyProcedures=functionName