--- title: "同步 Oracle 数据库的数据至 DataHub | OceanBase 文档中心" description: 同步 Oracle 数据库的数据至 DataHub 阿里云流数据处理平台 DataHub 是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文为您介绍如何使用 OceanBase 迁移服务（OceanBase Migration S… --- 切换语言 - 中文站 - 简体中文 - International - English - 日本站 - 日本語 文档反馈![](https://mdn.alipayobjects.com/huamei_22khvb/afts/img/A*L03BS6f-o40AAAAAAAAAAAAADiGDAQ/original) 迁移服务 OMSV 4.3.1 企业版 # 同步 Oracle 数据库的数据至 DataHub 更新时间：2026-05-14 11:20:50 阿里云流数据处理平台 DataHub 是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文为您介绍如何使用 OceanBase 迁移服务（OceanBase Migration Service，OMS）同步 Oracle 数据库的数据至 DataHub。 ## 使用限制 - 不支持表中全部列均为 LOB 类型的增量数据同步。 - 如果 Oracle 使用生成列，OMS 当前不会解析生成列的实际数值。因此，同步至 DataHub 时，对应的值为 NULL。 - 数据源标识和用户账号等，在 OMS 系统内是全局唯一的。 - OMS 仅支持同步库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及 .|"'`()=;/&\）的对象。 - OMS 仅支持同步包含主键（Primary Key）和非空唯一键的表。 - OMS 不支持同步 Oracle 数据库 12C 及之后版本中超过 30 个字节的数据库对象（包括 Schema、表和列等）。如果您需要同步超过 30 个字节的数据库对象，请参见 [如何同步超过 30 个字节的 Oracle 数据库对象](https://www.oceanbase.com/knowledge-base/oms-ee-1000000000234455)。 ## 注意事项 - **当录入的 Oracle 数据库为单备库或主备库模式时，如果 Oracle 主库和备库的运行实例数不同，可能导致少拉取某些实例的增量日志。您需要手动设置 Store 组件的参数，以指定增量从备库拉取时需要拉取的实例的增量日志。操作方式如下：** 1. Store 组件启动后马上将其停止。 2. 在 Store 组件的 **更新配置** 页面，新增参数 `deliver2store.logminer.instance_threads` 来设置需要拉取哪些实例的日志。 多个 thread 之间使用 | 分隔。例如，1|2|3。更新组件的详情请参见 [使用 OMS 从 Oracle 备库增量同步时丢失 Archive 日志](https://www.oceanbase.com/knowledge-base/oms-ee-1000000000266018?back=kb)。 3. 设置参数后，重启 Store 组件。 4. 5 分钟后，执行 `grep 'log entries from' connector/connector.log`，即可查看拉取了哪些实例的日志（thread 字段表示拉取到的是哪个实例的日志）。 - **当需要进行 Oracle 数据库的增量同步时，Oracle 数据库单个归档文件的大小建议小于 2GB。单个归档文件过大，会存在如下风险：** - 单个归档文件越大，拉取的耗时比线性增长更大。 - 录入的 Oracle 数据库为单备库或主备库模式时，增量是从备库拉取，此时只能拉取归档文件。当归档文件生成后才能拉取，归档文件越大，也就意味着在处理该归档文件之前已经延迟较久，并且处理该大的归档文件耗时也越久。 - 单个归档文件越大，在开启相同并发度的拉取时，Store 组件需要的内存也越大。 - **Oracle 数据库的归档文件保存 2 天以上，否则由于某个时间段归档量陡增或者 Oracle Store 处理异常，准备恢复时没有了归档文件，将无法恢复。** - 如果源端 Oracle 数据库存在交换主键的 DML 语句，将导致 OMS 解析日志异常，同步至目标端时存在数据丢失的问题。交换主键的 DML 语句示例如下： ```sql UPDATE test SET c1=(CASE WHEN c1=1 THEN 2 WHEN c1=2 THEN 1 END) WHERE c1 IN (1,2); ``` - 节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致增量同步的延迟时间不准确。 例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。 - 当任务意外中断进行断点续传时，DataHub 中可能会存在部分重复数据（最近一分钟内），需要下游具备排重能力。 - 如果数据同步存在 Logminer 吐出的非法时间（例如，13621-11-11 11:32:08），Store 组件会报错。 您可以在 **运维监控** > **组件** > **Store** 页面，单击目标 Store 后的 **更新**，新增参数 `deliver2store.logminer.replace_invalid_date=true`。然后在数据同步任务中跳过该数据。 在用户对 DATE 类型的值不敏感的情况下，`deliver2store.logminer.replace_invalid_date` 参数可以让 Reader 继续运行。Store 组件吐出数据时，会转换异常 DATE 类型的值为落日志时的日期。 - 如果创建数据同步任务时，您配置了 **增量同步**，OMS 要求源端数据库的本地增量日志保存 48 小时以上。 ## 数据类型映射 #### 注意 不支持同步 LONG、ROWID、BFILE、LONG RAW、XMLType、UROWID、UNDEFINED 和 UDT 类型的数据。 | **Oracle 数据库** | **默认映射 DataHub 类型** | | --- | --- | | CHAR | STRING | | NCHAR | STRING | | VARCHAR2 | STRING | | NVARCHAR2 | STRING | | CLOB | STRING | | BLOB | STRING（Base64 编码） | | NUMBER | DECIMAL | | BINARY_FLOAT | DECIMAL | | BINARY_DOUBLE | DECIMAL | | DATE | STRING | | TIMESTAMP | STRING | | TIMESTAMP WITH TIME ZONE | STRING | | TIMESTAMP WITH LOCAL TIME ZONE | STRING | | INTERVAL YEAR TO MONTH | STRING | | INTERVAL DAY TO SECOND | STRING | | RAW | STRING（Base64 编码） | ## 检查和修改 Oracle 源端的配置 - 检查 Oracle 源端字符集的配置 源端为 Oracle 时，OMS 支持字符集配置为 AL32UTF8、AL16UTF16、ZHS16GBK 或 GB18030 的数据同步。 - 检查和修改 Oracle 实例的系统配置 1. 在 Oracle 源端开启 archivelog 和补充日志。 2. 在 Oracle 中，以 sys 用户执行以下查询。 执行下述语句确认 `log_mode` 配置为 `archivelog`，`supplemental_log` 相关的配置均为 `yes` 或 `implicit`。 ```sql select log_mode, supplemental_log_data_pk, supplemental_log_data_ui, supplemental_log_data_min from v$database; ``` 如果不符合上述情况，请根据如下方法修改 Oracle 源数据库。 ```sql ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA(PRIMARY KEY) COLUMNS; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA(UNIQUE) COLUMNS; ``` 3. 完成上述操作后，重启实例。 ## 补充 Properties 如果自行创建 Topic，启动数据同步任务前，请在 DataHub 的 Schema 中补充下述 Properties。如果由 OMS 自动创建 Topic 和结构同步，OMS 会自动补充下述 Properties。 #### 注意 该部分内容仅适用于 Tuple 类型的 Topic。 | **名称** | **类型** | **描述** | | --- | --- | --- | | oms_timestamp | STRING | 发生变更的时间。 | | oms_table_name | STRING | 源端为表时，变更表名。 | | oms_database_name | STRING | 源端为数据库时，变更库名。 | | oms_sequence | STRING | 变更序列号。保证相同机器上，同一个主键不断递增。 | | oms_record_type | STRING | 变更类型，包括 UPDATE、INSERT 和 DELETE。 | | oms_is_before | STRING | 如果是 UPDATE 类型，Y 表示该条数据为变更前的数据。 | | oms_is_after | STRING | 如果是 UPDATE 类型，Y 表示该条数据为变更后的数据。 | ## 操作步骤 1. 新建数据同步任务。 ![oms42-zh](https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/doc/img/oms/oms-enterprise/oms42-zh.png) 1. 登录 OMS 控制台。 2. 在左侧导航栏，单击 **数据同步**。 3. 在 **数据同步** 页面，单击右上角的 **新建同步任务**。 2. 在 **新建同步任务** 页面，自定义同步任务的名称。 建议使用中文、数字和字母的组合。名称中不能包含空格，长度不能超过 64 个字符。 #### 注意 任务名称是 OMS 系统内的唯一标记，请自定义合适的任务名称。 3. 在 **选择源和目标** 页面，配置各项参数。 ![migration-43-zh](https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/doc/img/oms/oms-enterprise/migration-43-zh.png) | 参数 | 描述 | | --- | --- | | 源端 | 如果您已新建 Oracle 数据源，请从下拉列表中进行选择。如果未新建，请单击下拉列表中的 **新建数据源**，在右侧对话框进行添加。参数详情请参见 [新建 Oracle 数据源](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023184)。 | | 目标端 | 如果您已新建 DataHub 数据源，请从下拉列表中进行选择。如果未新建，请单击下拉列表中的 **新建数据源**，在右侧对话框进行添加。参数详情请参见 [新建 DataHub 数据源](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023181)。 | | 标签（可选） | 单击文本框，在下拉列表中选择目标标签。您也可以单击 **管理标签**，进行新建、修改和删除。详情请参见 [通过标签管理数据同步任务](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023117)。 | 4. 单击 **下一步**。在 **选择同步类型** 步骤，选择当前数据同步任务的同步类型。 同步类型包括 **结构同步** 和 **增量同步**。**结构同步** 实际为创建 Topic，**增量同步** 仅支持 **DML 同步**（包括 `Insert`、`Delete` 和 `Update`），您可以根据需求进行自定义配置。详情请参见 [自定义配置 DDL/DML](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023212)。 5. 单击 **下一步**。在 **选择同步对象** 步骤，选择需要同步的 Topic 类型和对象。 Topic 类型包括 **Tuple** 和 **BLOB**。Tuple 类型的 Topic 不支持 DDL 同步，支持类似于数据库记录的数据，每条记录包含多个列。BLOB 类型的 Topic 仅支持写入一块二进制数据作为一个 Record，数据将会以 BASE64 编码传输。详情请参见 DataHub 官方文档。 选择需要同步的 Topic 类型后，您可以通过 **指定对象** 和 **匹配规则** 两个入口选择同步对象。本文为您介绍通过 **指定对象** 方式选择同步对象的具体操作，配置匹配规则的详情请参见 [配置匹配规则](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023205) 中库到消息队列的通配规则说明和配置方式。 1. 在 **选择同步对象** 步骤，选中 **指定对象**。 2. 在选择区域左侧选中需要同步的对象。 3. 单击 **>**。 ![oms52-zh](https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/doc/img/oms/oms-enterprise/oms52-zh.png) 4. 根据业务需求，选择映射方式。 - 如果您需要同步 Tuple 类型的单张表或同步 BLOB 类型的表，请在 **将对象映射至 Topic** 对话框中，选择需要的映射方式进行配置，单击 **确定**。 ![oms44-zh](https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/doc/img/oms/oms-enterprise/oms44-zh.png) 如果设置同步类型和配置时未勾选 **结构同步**，则仅支持选择 **已有 Topic**。如果设置同步类型和配置时已选择 **结构同步**，则仅支持选择一种映射方式进行 Topic 的创建或选择。 例如，已选择结构同步的情况下，您使用了新建 Topic 和选择已有 Topic 两种映射方式，或通过重命名的方式更改了 Topic 的名称，会因为选项冲突导致预检查报错。 | 参数 | 描述 | | --- | --- | | 新建 Topic | 在文本框中输入新建 Topic 的名称。支持 128 位以内的字母、数字或下划线（_），且必须以字母开头。 | | 选择 Topic | OMS 提供查询 DataHub Topic 的能力，您可以单击 **选择 Topic**，在 **已有 Topic** 下拉列表中，搜索并选中需要同步的 Topic。 您也可以输入已有 Topic 后选中显示的 Topic 名称。 | | 批量生成 Topic | 批量生成 Topic 的规则为 `Topic_${Database Name}_${Table Name}`。 | 如果您选择 **新建 Topic** 或 **批量生成 Topic**，结构同步成功后，在 DataHub 侧能够查询到新建的 Topic（分片数量默认为 2 个，数据过期时间默认为 7 天，且不支持修改）。如果不符合业务要求，请自行在目标端创建。 - 如果您需要同步 Tuple 类型的多张表，请在弹出的对话框中，单击 **确定**。 ![oms53-zh](https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/doc/img/oms/oms-enterprise/oms53-zh.png) 如果您选择 Tuple 类型的 Topic 但未勾选 **结构同步**，选择多张表时，需要在 **将对象映射至 Topic** 对话框中选择一个已有 Topic 并单击 **确定**。 ![oms54-zh](https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/doc/img/oms/oms-enterprise/oms54-zh.png) 5. 单击 **确定**。 #### 说明 OMS 会自动过滤不支持的对象，查询对象的 SQL 语句请参见 [查询数据库对象](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023072)。 OMS 支持通过文本导入对象，并支持对目标端对象进行更改 Topic、设置行过滤、移除单个对象或全部对象等操作。目标端对象的结构为 Topic>DataBase>Table。 | 操作 | 步骤 | | --- | --- | | 导入对象 | 1. 在选择区域的右侧列表中，单击右上角的 **导入对象**。 2. 在对话框中，单击 **确定**。 **注意：** 导入会覆盖之前的操作选择，请谨慎操作。 3. 在 **导入同步对象** 对话框中，导入需要同步的对象。 您可以通过导入 CSV 文件的方式配置同步对象。详情请参见 [下载和导入同步对象配置](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023119)。 4. 单击 **检验合法性**。 5. 通过合法性的检验后，单击 **确定**。 | | 更改 Topic | 选择 Topic 类型为 BLOB 时，OMS 支持对目标对象进行更改 Topic 操作。 详情请参见 [更改 Topic](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023206)。 | | 设置 | OMS 支持配置行过滤、选择分片列和需要同步的列。 1. 在选择区域的右侧列表中，鼠标悬停至目标对象。 2. 单击显示的 **设置**。 3. 在 **设置** 对话框中，您可以进行以下操作。 - 在 **行过滤条件** 区域的文本框中，输入标准的 SQL 语句中的 `WHERE` 子句，来配置行过滤。详情请参见 [SQL 条件过滤数据](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023209)。 - 在 **分片列** 下拉列表中，选择目标分片列。您可以选择多个字段作为分片列，该参数为选填。 选择分片列时，如果没有特殊情况，默认选择主键即可。如果存在主键负载不均衡的情况，请选择唯一性标识且负载相对均衡的字段作为分片列，避免潜在的性能问题。分片列的主要作用如下： - 负载均衡：在目标端可以进行并发写入的情况下，通过分片列区分发送消息需要使用的特定线程。 - 有序性：由于存在并发写入可能导致的无序问题，OMS 确保在分片列的值相同的情况下，用户接收到的消息是有序的。此处的有序是指变更顺序（DML 对于一列的执行顺序）。 - 在 **选择列** 区域，选择需要同步的列。详情请参见 [列过滤](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023208)。 4. 单击 **确定**。 | | 移除/全部移除 | OMS 支持在数据映射时，对暂时选中到目标端的单个或多个对象进行移除操作。 - 移除单个同步对象 在选择区域的右侧列表中，鼠标悬停至目标对象，单击显示的 **移除**，即可移除该同步对象。 - 移除全部同步对象 在选择区域的右侧列表中，单击右上角的 **全部移除**。在对话框中，单击 **确定**，即可移除全部同步对象。 | 6. 单击 **下一步**。在 **同步选项** 步骤，配置各项参数。 - 增量同步 在 **选择同步类型** 步骤，选中 **增量同步**，才会显示下述参数。 | 参数 | 描述 | | --- | --- | | 增量日志拉取资源配置 | 您可以选择 **小**、**中**、**大** 的默认内存，也可以自定义增量日志拉取的资源配置。通过增量拉取组件 Store 的资源配置，可以限制任务增量同步阶段日志拉取的资源消耗。 #### 注意 自定义配置时，最小值为 1，且仅支持配置为整数。 | | 增量数据写入资源配置 | 您可以选择 **小**、**中**、**大** 的默认写入并发和内存，也可以自定义增量数据写入的资源配置。通过增量同步组件 Incr-Sync 的资源配置，可以限制任务增量同步阶段数据写入的资源消耗。 #### 注意 自定义配置时，最小值为 1，且仅支持配置为整数。 | | 增量记录保存时间 | OMS 中增量解析文件缓存的时长。配置的保存时间越长，Store 组件需要消耗的磁盘空间越大。 | | 增量同步起始位点 | 请在此处指定同步某个时间节点之后的数据，默认为当前系统时间。详情请参见 [设置增量同步位点](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023203)。 | - 高级选项 | 参数 | 描述 | | --- | --- | | 序列化方式 | 控制数据同步至 DataHub 的消息格式，目前支持 **Default**、**Canal**、**Dataworks**（支持 V2.0）、**SharePlex** 和 **DefaultExtendColumnType**。详情请参见 [数据格式说明](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023204)。 **注意** 仅在 **选择同步类型** 页面，选择 Topic 类型为 Blob 时，会显示该参数。 | | 分区规则 | 同步源端数据至 DataHub Topic 的规则，目前支持 **Hash** 和 **Table**。 - **Hash** 表示 OMS 使用一定的 Hash 算法，根据主键值或分片列值 Hash 选择 DataHub 的 Shard。 - **Table** 表示 OMS 将一张表中的全部数据投递至同一个分区中，以表名作为 Hash 键。 | | 业务系统标识（可选） | 仅选择 **序列化方式** 为 **DataWorks** 时，会显示该参数。用于标识数据的业务系统来源，以便您后续进行自定义处理。该业务系统标识的长度限制为 1~20 个字符。 | 如果页面的配置参数无法满足需求，您可以单击页面下方的 **参数配置**，进行更加具体的配置。如果您有已配置的任务模板或组件模板，还可以在此处进行引用。 ![oms49-zh](https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/doc/img/oms/oms-enterprise/oms49-zh.png) 7. 单击 **预检查**，系统对数据同步任务进行预检查。 在 **预检查** 环节，OMS 会检测和目标端的连接情况。如果预检查报错： - 您可以排查并处理问题后，重新执行预检查，直至预检查成功。 - 您也可以单击失败预检查项操作列中的 **跳过**，会弹出对话框提示您跳过本操作的具体影响，确认可以跳过后，请单击对话框中的 **确定**。 8. 单击 **启动任务**。如果您暂时无需启动任务，请单击 **保存**，跳转至数据同步任务的详情页面，您可以根据需要手动启动数据同步任务。 OMS 支持在数据同步任务运行过程中修改同步对象，详情请参见 [查看和修改同步对象](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023115)。数据同步任务启动后，会根据选择的同步类型依次执行，详情请参见 [查看数据同步任务的详情](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-1000000004023122) 中《查看同步详情》模块的内容。 上一篇 下一篇 ![有帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*y6ocSqN8cqsAAAAAAAAAAAAAARQnAQ)![无帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*BG9IQJyLHF8AAAAAAAAAAAAAARQnAQ)![反馈](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*eTWdQKCRKHwAAAAAAAAAAAAAARQnAQ)[AI](https://www.oceanbase.com/obi) 咨询热线