迁移 OceanBase 数据库 Oracle 兼容模式的增量数据至 MySQL 数据库

本文为您介绍如何使用 OceanBase 迁移服务（OceanBase Migration Service，OMS）迁移 OceanBase 数据库 Oracle 兼容模式（包括物理数据源、公有云数据源和单机数据源）的增量数据至 MySQL 数据库。

前提条件

• 已为源端 OceanBase 数据库 Oracle 兼容模式和目标端 MySQL 数据库创建专用于数据迁移任务的数据库用户，并为其赋予了相关权限。详情请参见 创建数据库用户。

• 已新建源端和目标端的数据源。详情请参见 新建 OceanBase 数据源 和 新建 MySQL 数据源。

使用限制

• OMS 支持的 MySQL 数据库版本为 V5.5、V5.6、V5.7 和 V8.0。

• OMS 不支持迁移 OceanBase 数据库 Oracle 兼容模式的无主键表至 MySQL 数据库。

• OMS 不支持目标端存在触发器（Trigger）。如果存在触发器，可能导致数据迁移失败。

• OMS 仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及 .|"'`()=;/&）的对象。

• OMS 不支持 OceanBase 备库作为源端。

注意事项

• 对于 OceanBase 数据库 V4.x，强烈建议您开启归档日志。开启归档日志后，如果 Clog 被回收，OMS 仍然可以通过消费归档日志来实现增量同步能力。开启归档日志的详情请参见 归档日志文档。

• ​如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免因字符集不兼容导致目标端出现乱码等问题。

• 节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致增量同步的延迟时间不准确。

  例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。

• OceanBase 数据库 Oracle 兼容模式至 MySQL 数据库的数据迁移任务中，当 OceanBase 数据库 Oracle 兼容模式为 V3.2.x 之前的版本且具有全局唯一索引的多分区表时，如果您更新了表的分区键的值，可能导致数据迁移过程中丢失数据。

• 在如果您变更目标端的唯一索引，需要重启数据迁移任务，否则可能存在数据不一致的问题。

• 如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：

  • 用户手动创建表结构时，因超出 OMS 的支持范围，可能会产生隐式的转换问题，导致源端和目标端列的类型不一致。

  • 目标端的数据长度小于源端的数据长度时，可能出现数据截断的情况，导致源端和目标端的数据不一致。

• 创建数据迁移任务时，您仅配置了 增量同步，OMS 要求源端数据库的归档日志保存 48 小时以上。

• 如果源端或目标端存在仅大小写不同的表对象，可能会因为源端或目标端大小写不敏感导致数据迁移的结果不符合预期。

• 当前数据迁移任务支持无非空唯一键表，但是任务重启或其他异常情况可能导致出现数据重复的问题，建议为所有表配置非空唯一键。

• 如果以 OceanBase 数据库为源端做增量同步，或为目标端做反向增量，数据库表对象中包含 UDT 列，增量同步任务可能因不支持 UDT 列而异常。

操作步骤

1. 新建数据迁移任务。

   

   1. 登录 OMS 控制台。

   2. 在左侧导航栏，单击 数据迁移。

   3. 在 数据迁移 页面，单击右上角的 新建迁移任务。

2. 在 新建迁移任务 页面，自定义迁移任务的名称。

   建议使用中文、数字和字母的组合。名称中不能包含空格，长度不能超过 64 个字符。

   注意

   任务名称是 OMS 系统内的唯一标记，请自定义合适的任务名称。

3. 在 选择源和目标 步骤，配置各项参数。

   

   参数	描述
   源端	如果您已新建 OceanBase 数据库 Oracle 兼容模式数据源（包括物理数据源、公有云数据源和单机数据源），请从下拉列表中进行选择。如果未新建，请单击下拉列表中的 新建数据源，在右侧对话框进行新建。参数详情请参见 新建 OceanBase 物理数据源、新建 OceanBase 公有云数据源 或 新建 OceanBase 单机数据源。
   目标端	如果您已新建 MySQL 数据源，请从下拉列表中进行选择。如果未新建，请单击下拉列表中的 新建数据源，在右侧对话框进行新建。参数详情请参见 新建 MySQL 数据源。
   标签（可选）	单击文本框，在下拉列表中选择目标标签。您也可以单击 管理标签，进行新建、修改和删除。详情请参见 通过标签管理数据迁移任务。

4. 单击 下一步。在 选择迁移类型 步骤，选择当前迁移任务的迁移类型。

   目前仅支持 增量同步 中的 DML 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。

5. 单击 下一步。在 选择迁移对象 步骤，选择当前数据迁移任务需要迁移的对象。

   您可以通过 指定对象 和 匹配规则 两个入口选择迁移对象。本文为您介绍通过 指定对象 方式选择迁移对象的具体操作，配置匹配规则的详情请参见 配置匹配规则。

   注意

   • 当数据库的库名或表名存在 "$$" 字符时，会影响数据迁移任务的创建。

   • OMS 会自动过滤不支持的对象，查询对象的 SQL 语句请参见 查询数据库对象。

   

   1. 在 选择迁移对象 步骤，选中 指定对象。

   2. 在 源端对象 列表选中需要迁移的对象。您可以选择一个或多个库的表、视图作为迁移对象。

   3. 单击 >，将其添加至 目标端对象 列表中。

   OMS 支持通过文本导入对象、重命名对象名称、设置行过滤、查看列信息，以及移除单个或全部迁移对象。

   说明

   通过 匹配规则 方式选择迁移对象时，重命名能力由匹配规则语法覆盖，操作处仅支持设置过滤条件。详情请参见 配置匹配规则。

   操作	步骤
   导入对象	在 目标端对象 列表中，单击右上角的 导入对象。 在对话框中，单击 确定。 注意： 导入会覆盖之前的操作选择，请谨慎操作。 在 导入迁移对象 对话框中，导入需要迁移的对象。 您可以通过导入 CSV 文件的方式进行库表重命名、设置行过滤条件等操作。详情请参见 下载和导入迁移对象配置。 单击 检验合法性。 通过合法性的检验后，单击 确定。
   重命名	OMS 支持重命名迁移对象的名称，详情请参见 数据库库表重命名。
   设置	OMS 支持 WHERE 条件实现行过滤，详情请参见 SQL 条件过滤数据。 您还可以在 查看列 区域，查看迁移对象的列信息。
   移除/全部移除	OMS 支持在数据映射时，对暂时选中到目标端的单个或多个对象进行移除操作。 移除单个迁移对象 在 目标端对象 列表中，鼠标悬停至目标对象，单击显示的 移除，即可移除该迁移对象。 移除全部迁移对象 在 目标端对象 列表中，单击右上角的 全部移除。在对话框中，单击 确定，即可移除全部迁移对象。

6. 单击 下一步。在 迁移选项 步骤，配置增量同步的各项参数。

   

   参数	描述
   增量同步速率限制	您可以根据实际需求决定是否开启增量同步速率限制。如果开启，请设置 RPS（增量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（增量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。 说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，增量同步实际可以达到的性能受限于源端、目标端、实例规格配置等因素的影响。
   增量日志拉取资源配置	您可以选择 小、中、大 的默认内存，也可以自定义增量日志拉取的资源配置。通过增量拉取组件 Store 的资源配置，可以限制任务增量同步阶段日志拉取的资源消耗。 注意 自定义配置时，最小值为 1，且仅支持配置为整数。
   增量数据写入资源配置	您可以选择 小、中、大 的默认写入并发和内存，也可以自定义增量数据写入的资源配置。通过增量同步组件 Incr-Sync 的资源配置，可以限制任务增量同步阶段数据写入的资源消耗。 注意 自定义配置时，最小值为 1，且仅支持配置为整数。
   增量记录保存时间	OMS 中增量解析文件缓存的时长。配置的保存时间越长，Store 组件需要消耗的磁盘空间越大。
   增量同步起始位点	请在此处指定迁移某个时间节点之后的数据，默认为当前系统时间。详情请参见 设置增量同步位点。

7. 单击 预检查，系统对数据迁移任务进行预检查。

   在 预检查 环节，OMS 会检查数据库用户的读写权限、数据库的网络连接等是否符合要求。全部检查任务均通过后才能启动数据迁移任务。如果预检查报错：

   • 您可以排查并处理问题后，重新执行预检查，直至预检查成功。

   • 您也可以单击失败预检查项操作列中的 跳过，会弹出对话框提示您跳过本操作的具体影响，确认可以跳过后，请单击对话框中的 确定。

8. 单击 启动任务。如果您暂时无需启动任务，请单击 保存，跳转至数据迁移任务的详情页面，您可以根据需要进行手动启动。

   您可以单击数据迁移详情页面右上角的 配置校验任务，对比源端数据库和目标端数据库之间的数据差异。详情请参见 新建数据校验任务。

   OMS 支持在数据迁移任务运行过程中修改迁移对象，详情请参见 查看和修改迁移对象。数据迁移任务启动后，会根据选择的迁移类型依次执行，详情请参见 查看数据迁移任务的详情 中《查看迁移详情》模块的内容。