OMS 海量数据迁移策略

本文档介绍在使用 OMS 迁移海量数据（10 TB 以上）时，在数据迁移前可能需要的准备。在迁移数据前，预处理数据和合理规划迁移任务，可以提高迁移效率，降低迁移任务的运维成本。

在迁移数据之前，识别和分类大表、分区表以及可能需要特殊处理的表（如有大对象的表）。

规划迁移任务

• 链路拆分

  把大表平均分配在不同链路，每个链路不超过 2000 张表，避免白名单过长。

• 查询 Hash 或 Key 分区表

  Hash 或 Key 分区表需要单独的校验规则，如果表数据量不是很多，可以放在一个链路中，方便后期从校验链路中排除。当表基于 Hash 或 Key 的分区时，并且源端与目标端采用不同的分区算法时，相同数据在源端和目标端可能分配到不同的分区。在此情况下，若使用常规校验模式，可能会导致过多的误报数据不一致。此时建议您使用 in mode 模式校验。

• 冷热表分开迁移

  首次拉起 OMS 后可能会有热表导致增量特别慢，检查如果该表不大可以从链路中屏蔽，在割接的时候全量同步即可。

• 查询除大表和 Hash 表的其他表清单，分到不同链路中

  大对象的表使用单独任务迁移，避免拖慢整个迁移任务。

• 单独迁移包含 CLOB、*lob、*test、json 和 gis 类型数据的大表。

  包含以上数据类型的表迁移很慢，将拖慢整个迁移进度。

旁路导入

目前仅 OMS 社区版 V4.2.4 及之后版本支持旁路导入。旁路导入是针对大表迁移的最优方式，可以绕过 SQL 层的接口，直接在 data 文件中分配空间并插入数据，从而提高数据导入的效率。

配置旁路导入

在配置 OMS 迁移任务时，在迁移选项中选择 Direct Load，即迁移使用旁路导入。

确认旁路导入是否成功

在迁移任务的参数配置页面看到以下信息，即旁路导入成功开启：

"sink": { "com.oceanbase.oms.connector.direct.sink.DirectPathSinkBooster" }