同步 IDB 逻辑表的数据至 DataHub

本文为您介绍如何使用 OceanBase 迁移服务（OceanBase Migration Service，OMS）同步 IDB 逻辑表的数据至 DataHub。

使用限制

• 同步 DDL 仅支持 Blob 类型的 Topic。

• 当前版本仅支持 IDB 有主键逻辑表至 DataHub 的数据同步。

• 数据源标识和用户账号等，在 OMS 系统内是全局唯一的。

• OMS 仅支持同步库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及 .|"'`()=;/&\）的对象。

注意事项

• 节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致增量同步的延迟时间不准确。

  例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。

• 当任务意外中断进行断点续传时，DataHub 实例中可能会存在部分重复数据（最近一分钟内），因此下游系统需要具备排重能力。

• 如果创建数据同步任务时，您仅配置了 增量同步，OMS 要求源端数据库的本地增量日志保存 48 小时以上。

  ​如果创建数据同步任务时，您配置了 全量同步 + 增量同步，OMS 要求源端数据库的本地增量日志至少保留 7 天以上。否则数据同步可能因为无法获取增量日志导致数据同步任务失败，甚至导致源端和目标端数据不一致。

同步 DDL 支持的范围

• 修改表 ALTER TABLE

• 创建索引 CREATE INDEX

• 删除索引 DROP INDEX

• 清空 TRUNCATE

操作步骤

1. 新建数据同步任务。

   

   1. 登录 OMS 控制台。

   2. 在左侧导航栏，单击 数据同步。

   3. 在 数据同步 页面，单击右上角的 新建同步任务。

2. 在 新建同步任务 页面，自定义同步任务的名称。

   建议使用中文、数字和字母的组合。名称中不能包含空格，长度不能超过 64 个字符。

   注意

   任务名称是 OMS 系统内的唯一标记，请自定义合适的任务名称。

3. 在 选择源和目标 页面，配置各项参数。

   

   参数	描述
   源端	如果您已新建 IDB 数据源，请从下拉列表中进行选择。如果未新建，请单击下拉列表中的 新建数据源，在右侧对话框进行添加。参数详情请参见 新建 IDB 数据源。
   目标端	如果您已新建 DataHub 数据源，请从下拉列表中进行选择。如果未新建，请单击下拉列表中的 新建数据源，在右侧对话框进行添加。参数详情请参见 新建 DataHub 数据源。
   标签（可选）	单击文本框，在下拉列表中选择目标标签。您也可以单击 管理标签，进行新建、修改和删除。详情请参见 通过标签管理数据同步任务。

4. 单击 下一步。在 选择同步类型 步骤，选择当前数据同步任务的同步类型。

   同步类型包括 结构同步、全量同步 和 增量同步。结构同步 实际为创建 Topic，增量同步 包括 DML 同步（Insert、Delete 和 Update）和 DDL 同步，您可以根据需求进行自定义配置。详情请参见 自定义配置 DDL/DML。

   注意

   如果您在此处选择了 DDL 同步，则 选择同步对象 页面的 Topic 类型仅支持选择 BLOB。

5. 单击 下一步。在 选择同步对象 步骤，选择需要同步的 Topic 类型和对象。

   Topic 类型包括 Tuple 和 BLOB。Tuple 类型的 Topic 不支持 DDL 同步，支持类似于数据库记录的数据，每条记录包含多个列。BLOB 类型的 Topic 仅支持写入一块二进制数据作为一个 Record，数据将会以 BASE64 编码传输。详情请参见 DataHub 官方文档。

   选择需要同步的 Topic 类型后，请进行以下操作：

   1. 在 GUID 文本框中，输入 IDB 逻辑表的 GUID（全局唯一标识符）。

   2. 在选择区域左侧选中需要同步的对象。

   3. 单击 >。

   4. 根据业务需求，选择映射方式。

      注意

      当选择 Topic 类型为 Tuple 时， 如果未勾选 结构同步，则仅支持同步单张表至单 Topic。

      • 如果您需要同步 Tuple 类型的单张表或同步 BLOB 类型的表，请在 将对象映射至 Topic 对话框中，选择需要的映射方式进行配置，单击 确定。

        如果设置同步类型和配置时未勾选 结构同步，则仅支持选择 已有 Topic。如果设置同步类型和配置时已选择 结构同步，则仅支持选择一种映射方式进行 Topic 的创建或选择。

        例如，已选择结构同步的情况下，您使用了新建 Topic 和选择已有 Topic 两种映射方式，或通过重命名的方式更改了 Topic 的名称，会因为选项冲突导致预检查报错。

        参数	描述
        新建 Topic	在文本框中输入新建 Topic 的名称。支持 128 位以内的字母、数字或下划线（_），且必须以字母开头。
        选择 Topic	OMS 提供查询 DataHub Topic 的能力，您可以单击 选择 Topic，在 已有 Topic 下拉列表中，搜索并选中需要同步的 Topic。 您也可以输入已有 Topic 后选中显示的 Topic 名称。
        批量生成 Topic	批量生成 Topic 的规则为 Topic_${Database Name}_${Table Name}。

        如果您选择 新建 Topic 或 批量生成 Topic，结构同步成功后，在 DataHub 侧能够查询到新建的 Topic（分片数量默认为 2 个，数据过期时间默认为 7 天，且不支持修改）。如果不符合业务要求，请自行在目标端创建。

      • 如果您需要同步 Tuple 类型的多张表，请在弹出的对话框中，单击 确定。

        如果您选择 Tuple 类型的 Topic 但未勾选 结构同步，选择多张表时，需要在 将对象映射至 Topic 对话框中选择一个已有 Topic 并单击 确定。

   5. 单击 确定。

   OMS 支持对目标对象更改 Topic、设置分片列、以及移除单个对象或全部对象等操作。目标端对象的结构为 Topic>DataBase>Table。

   操作	步骤
   更改 Topic	选择 Topic 类型为 BLOB 时，OMS 支持对目标对象进行更改 Topic 操作。详情请参见 更改 Topic。
   设置	在选择区域的右侧列表中，鼠标悬停至目标对象。 单击显示的 设置。 在 设置 对话框的 分片列 下拉列表中，选择目标分片列。您可以选择多个字段作为分片列，该参数为选填。 选择分片列时，如果没有特殊情况，默认选择主键即可。如果存在主键负载不均衡的情况，请选择唯一性标识且负载相对均衡的字段作为分片列，避免潜在的性能问题。分片列的主要作用如下： 负载均衡：在目标端可以进行并发写入的情况下，通过分片列区分发送消息需要使用的特定线程。 有序性：由于存在并发写入可能导致的无序问题，OMS 确保在分片列的值相同的情况下，用户接收到的消息是有序的。此处的有序是指变更顺序（DML 对于一列的执行顺序）。 单击 确定。
   移除/全部移除	OMS 支持在数据映射时，对暂时选中到目标端的单个或多个对象进行移除操作。 移除单个同步对象 在选择区域的右侧列表中，鼠标悬停至目标对象，单击显示的 移除，即可移除该同步对象。 移除全部同步对象 在选择区域的右侧列表中，单击右上角的 全部移除。在对话框中，单击 确定，即可移除全部同步对象。

6. 单击 下一步。在 同步选项 步骤，配置各项参数。

   • 全量同步

     在 选择同步类型 步骤，选中 全量同步，才会显示下述参数。

     参数	描述
     全量同步速率限制	您可以根据实际需求决定是否开启全量同步速率限制。如果开启，请设置 RPS（全量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（全量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。 说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量同步实际可以达到的性能受限于源端、目标端、实例规格配置等因素的影响。
     全量同步资源配置	您可以选择 小、中、大 的默认读取并发、写入并发和内存，也可以自定义全量同步的资源配置。通过全量导入组件 Full-Import 的资源配置，可以限制任务全量同步阶段的资源消耗。 注意 自定义配置时，最小值为 1，且仅支持配置为整数。

   • 增量同步

     在 选择同步类型 步骤，选中 增量同步，才会显示下述参数。

     参数	描述
     增量同步速率限制	您可以根据实际需求决定是否开启增量同步速率限制。如果开启，请设置 RPS（增量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（增量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。 说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，增量同步实际可以达到的性能受限于源端、目标端、实例规格配置等因素的影响。
     增量日志拉取资源配置	您可以选择 小、中、大 的默认内存，也可以自定义增量日志拉取的资源配置。通过增量拉取组件 Store 的资源配置，可以限制任务增量同步阶段日志拉取的资源消耗。 注意 自定义配置时，最小值为 1，且仅支持配置为整数。
     增量数据写入资源配置	您可以选择 小、中、大 的默认写入并发和内存，也可以自定义增量数据写入的资源配置。通过增量同步组件 Incr-Sync 的资源配置，可以限制任务增量同步阶段数据写入的资源消耗。 注意 自定义配置时，最小值为 1，且仅支持配置为整数。
     增量记录保存时间	OMS 中增量解析文件缓存的时长。配置的保存时间越长，Store 组件需要消耗的磁盘空间越大。
     增量同步起始位点	如果选择同步类型时已选择 全量同步，此处默认为任务启动时间，不支持修改。 如果选择同步类型时未选择 全量同步，请在此处指定同步某个时间节点之后的数据，默认为当前系统时间。详情请参见 设置增量同步位点。

   • 高级选项

     参数	描述
     序列化方式	控制数据同步至 DataHub 的消息格式，目前支持 Default、Canal、Dataworks（支持 V2.0）、SharePlex 和 DefaultExtendColumnType。详情请参见 数据格式说明。 注意： 仅在 选择同步类型 页面，选择 Topic 类型为 Blob 时，会显示该参数。
     分区规则	同步源端数据至 DataHub Topic 的规则，目前支持 Hash 和 Table。建议您选择 Table，以确保下游在消费消息时，不会出现 DDL 与 DML 消费不统一的情况。 Hash 表示 OMS 使用一定的 Hash 算法，根据主键值或分片列值 Hash 选择 DataHub 的 Shard。 Table 表示 OMS 将一张表中的全部数据投递至同一个分区中，以表名作为 Hash 键。 注意： 如果在 选择同步类型 页面选择了 DDL 同步，则分区规则仅支持 Table。
     业务系统标识（可选）	仅选择 序列化方式 为 DataWorks 时，会显示该参数。用于标识数据的业务系统来源，以便您后续进行自定义处理。该业务系统标识的长度限制为 1~20 个字符。

   如果页面的配置参数无法满足需求，您可以单击页面下方的 参数配置，进行更加具体的配置。如果您有已配置的任务模板或组件模板，还可以在此处进行引用。

   

7. 单击 预检查，系统对数据同步任务进行预检查。

   如果预检查报错：

   • 您可以排查并处理问题后，重新执行预检查，直至预检查成功。

   • 您也可以单击失败预检查项操作列中的 跳过，会弹出对话框提示您跳过本操作的具体影响，确认可以跳过后，请单击对话框中的 确定。

8. 单击 启动任务。如果您暂时无需启动任务，请单击 保存，跳转至数据同步任务的详情页面，您可以根据需要手动启动数据同步任务。

   OMS 支持在数据同步任务运行过程中修改同步对象，详情请参见 查看和修改同步对象。数据同步任务启动后，会根据选择的同步类型依次执行，详情请参见 查看数据同步任务的详情 中《查看同步详情》模块的内容。