数据清理

数据清理

更新时间：2026-04-13 15:30:53

本文档旨在介绍如何通过提交数据清理工单实现清理数据。

背景信息

ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。

本文档以新建数据清理为例，介绍如何在 ODC 中清理数据库 test2 中的表 employee。

文中所使用的均为示例数据，您可根据实际情况对数据进行替换。

前置条件：
- 清理的表中必须包含主键，若数据源类型为 OceanBase MySQL 及 MySQL，则包含唯一索引也可进行清理。
- 用于清理的数据库用户需要拥有读/写权限和内部视图的访问权限。权限配置请参见查看用户权限、用户及权限概述和修改用户权限。
清理数据源支持：
- OceanBase MySQL 数据源。
- OceanBase Oracle 数据源。
- MySQL 数据源。
- Oracle 数据源。
- PostgreSQL 数据源。
以下情况不支持清理：
- OceanBase MySQL 数据源若表中包含 XMLTYPE 字段类型，不支持清理。
- OceanBase Oracle、Oracle 和 PostgreSQL 数据源若表中不包含主键 PRIMARY KEY，不支持清理。
- OceanBase Oracle 数据源若表中包含 JSON、XMLTYPE 字段类型，不支持清理。
- 若清理条件中包含 limit 语句，不支持清理。
- 若表中包含外键，不支持清理。

在 新建数据清理 页面中，输入以下信息。

信息项	说明
源端数据库	选择表所属的数据库。
清理范围	部分清理：通过清理条件清理数据库中部分表。可使用常量或者引用变量配置中定义的变量来配置过滤条件。例如：`time<'${create_time}'`，其中 `create_time` 为变量配置中的变量名，`time` 为清理表中的字段。说明在过滤条件设置中可以进行关联表条件的配置。勾选指定分区，支持根据指定的分区清理数据。整库清理：清理数据库中所有表。
自定义变量	可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行清理。
执行方式	选择立即执行 / 定时执行 / 周期执行设置任务执行方式。
任务设置	清理前是否需要校验：勾选校验选项，清理前会检查待清理的表数据是否与目标表数据一致，如果数据一致则继续清理，否则不清理。指定任务时长：任务启动指定时长后，若未完成则会暂停调度，等待下一次调度。搜索策略：支持全表扫描和条件匹配。限流策略：行限流：每秒操作数据总行限制；数据大小限流：每秒操作数据总大小限制。使用主键清理：选择是否使用主键清理数据。
描述	可在描述文本框中输入不超过 200 个字符的描述信息。