3. 特殊需求配置
本章是一些特殊需求的配置的说明,以及实现的方法。
3.1. 同时迁移全库的所有schema
如果需要迁移多个schema,需要将所有schema写入配置参数transferSchemas,便用英文逗号隔开。如下所示:
etl.global.transferSchemas=schema1,schema2
3.2. 迁移单个schema
如果需要迁移单个schema,需要将该schema写入配置参数transferSchemas,如下所示:
etl.global.transferSchemas=schema
3.3. 只迁移单个表
需要在配置的参数includeTableRegexp写入该表名,详细配置方法参考第四章
etl.global.includeTableRegexp=^tablename$
3.4. 在迁移时排除指定的表
需要在配置的参数excludeTableRegexp写入该表名,并且该表名需要是配置的参数transferSchemas的schema里面的表
etl.global.excludeTableRegexp=^tablename$
3.5. 加快迁移速度
- 需要使用concurrentThreadCount+batchCount 控制
concurrentThreadCount 迁移时使用的线程数
batchCount 单表迁移时一次批量插入的记录条数,内存不足时不能设置太大,否则可能会导致内存溢出
etl.global.concurrentThreadCount=32
etl.global.batchCount=200000
3.6. 指定迁移的存储过程
需要在配置的参数transferOnlyProcedures写入存储过程名
etl.global.transferOnlyProcedures=procedureName
3.7. 指定迁移的函数
需要在配置的参数transferOnlyProcedures写入函数名
etl.global.transferOnlyProcedures=functionName