数据归档

数据归档

更新时间：2026-04-13 15:30:53

编辑

本文档旨在介绍如何通过提交数据归档工单实现归档数据。

背景信息

ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。

本文档以新建数据归档为例，介绍如何在 ODC 中将同一项目的数据库 odc_test 中的表 employee 归档到数据库 test2 中。

说明

文中所使用的均为示例数据，您可根据实际情况对数据进行替换。

原理介绍

前提条件

归档的表中必须包含主键。

注意事项

前置条件：
- OceanBase 数据源必须通过 OBproxy 连接（暂不支持对直连的 OceanBase 进行归档操作）。
- OceanBase 数据源目前仅支持集群实例，新建数据源时必须配置集群名称。
- 需保证源端表字段在目标端兼容，数据归档不处理字段兼容性问题。
- MySQL 数据源暂不支持 CPU 内存防爆能力。
归档链路支持：
- OceanBase MySQL 到 OceanBase MySQL。
- OceanBase Oracle 到 OceanBase Oracle（暂不支持同步表结构）。
- MySQL 到 MySQL。
- MySQL 到 OceanBase MySQL。
- OceanBase MySQL 到 MySQL。
以下情况不支持归档：
- OceanBase MySQL 及 MySQL 数据源若表中不包含主键 PRIMARY KEY 或唯一非空索引，不支持进行归档。
- OceanBase Oracle 数据源若表中不包含主键 PRIMARY KEY，不支持进行归档。
- OceanBase Oracle 数据源若表中包含 JSON、XMLTYPE 字段类型，不支持进行归档。
- OceanBase Oracle 数据源不支持 V4.3.0 及以上版本。
- OceanBase MySQL 数据源不支持 V4.3.1 及以上版本。
- 若归档条件中包含 limit 语句，不支持进行归档。
- 若表中包含外键，不支持进行归档。

新建数据归档

在 SQL 窗口中，编辑 SQL 语句以创建表 employee。

CREATE TABLE `employee` (
`emp_no` int(120) NOT NULL COMMENT 'employee number',
 `birthday` date DEFAULT NULL COMMENT 'employee birthday',
 `name` varchar(120) DEFAULT NULL COMMENT 'employee name',
 `time` date NOT NULL COMMENT 'time' COMMENT 'create time',
 PRIMARY KEY (`time`)
) partition by range columns(time) (
 partition p2023_01
 values
  less than ('2023-01-01'),
  partition p2023_02
values
  less than ('2023-02-01')
)

在 SQL 开发窗口的任务页签中，单击 数据归档 > 新建数据归档。

在 新建数据归档 页面中，输入以下信息。

信息项	说明
源端数据库	选择表所属的数据库。说明 ODC V4.2.2 及之后的版本支持选择 MySQL 数据库，以将 MySQL 中的数据归档到 OceanBase 数据库中。
目标数据库	选择表归档的数据库。说明 ODC V4.2.2 及之后的版本支持选择 MySQL 数据库，以将 OceanBase 中的数据归档到 MySQL 数据库中。
归档范围	部分归档：通过过滤条件归档源端数据库中部分表。可使用常量或者引用变量配置中定义的变量来配置过滤条件。例如：`time<'${create_time}'`，其中 `create_time` 为变量配置中的变量名，`time` 为归档表中的字段。勾选指定分区，支持根据指定的分区归档数据。整库归档：归档源端数据库中所有表。
自定义变量	可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行归档。
执行方式	选择立即执行 / 定时执行 / 周期执行设置任务执行方式。
任务设置	指定任务时长：任务启动指定时长后，若未完成则会暂停调度，等待下一次调度。开启目标表结构同步：任务调度前进行一次表结构比对，若源端和目标端表结构不一致，将跳过该表。插入策略：执行数据归档时，忽略重复数据/更新重复数据。限流策略：配置行限流和数据大小限流。
备注	可在备注文本框中输入不超过 200 个字符的描述信息，该项为选填项。