数据清理

本文档旨在介绍如何通过提交数据清理工单实现清理数据。

背景信息

ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。

本文档以新建数据清理为例，介绍如何在 ODC 中清理数据库 odc_test_data_2 中的表 employee。

注意事项

• 前置条件：

  • 清理的表中必须包含主键，若数据源类型为 OceanBase MySQL 及 MySQL，则包含唯一索引也可进行清理。

  • 用于清理的数据库用户需要拥有读/写权限和内部视图的访问权限。权限配置请参见 查看用户权限、用户及权限概述 和 修改用户权限。

• 清理数据源支持：

  • OceanBase MySQL 数据源。

  • OceanBase Oracle 数据源。

  • MySQL 数据源。

  • Oracle 数据源。

  • PostgreSQL 数据源。

• 以下情况不支持清理：

  • OceanBase MySQL 数据源若表中包含 XMLTYPE 字段类型，不支持清理。

  • OceanBase Oracle、Oracle 和 PostgreSQL 数据源若表中不包含主键 PRIMARY KEY，不支持清理。

  • OceanBase Oracle 数据源若表中包含 JSON、XMLTYPE 字段类型，不支持清理。

  • 若清理条件中包含 limit 语句，不支持清理。

  • 若表中包含外键，不支持清理。

新建数据清理

1. 在 SQL 开发窗口左侧导航栏的 作业 页签中，单击 数据清理 > 新建数据清理。

   

2. 在 新建数据清理 页面中，输入以下信息。

   

   信息项	说明
   源端数据库	选择表所属的数据库。
   清理前是否需要校验	勾选校验选项，清理前会检查待清理的表数据是否与目标表数据一致，如果数据一致则继续清理，否则不清理。
   清理范围	部分清理：通过清理条件清理数据库中部分表。 可使用常量或者引用变量配置中定义的变量来配置过滤条件。例如：time<'${create_time}'，其中 create_time 为变量配置中的变量名，time 为清理表中的字段。 说明 在过滤条件设置中可以进行关联表条件的配置。 勾选 指定分区，支持根据指定的分区清理数据。 整库清理：清理数据库中所有表。
   自定义变量	可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行清理。
   执行方式	选择 周期执行/立即执行/定时执行 设置任务执行方式。
   限流策略	配置限流条件。 CPU 使用率：当 OceanBase 数据库的 CPU 使用率超过该数值时，程序将自动暂停。 内存使用率：内存使用率计算方式为 MEMSTORE_USED * 100 / MEMSTORE_LIMIT，若不填写默认根据内存使用量是否超过1.05倍转储内存限流。当 OceanBase 数据库达到内存限流条件时，程序将自动暂停。 行限流：限制程序每秒处理的数据行数在该数值范围内。 数据大小限流：限制程序每秒处理的数据量在该数值附近波动。
   作业设置	通过全表扫描进行数据搜索：若使用全表扫描方式进行数据搜索，处理过程将更加稳定但性能可能会受到影响。 修改清理时会话级别集群 ID 参数：若源端为 OceanBase，可修改会话级别的 cluster_id 参数便于下游工具识别清理记录。参数避免与租户已使用的值重复，以防误识别。 指定任务时长：任务启动指定时长后，若未完成则会暂停调度，等待下一次调度。

3. 单击页面下方 预检查，系统会预执行该作业，并提醒作业配置中的错误内容。

   示例如下：

   

4. 预检查完成后，单击页面下方 下一步：预览 SQL。

5. 在预览 SQL 界面，检查执行 SQL 语句，设置作业名称后，单击 确定，完成新建数据清理。

   

6. 任务生成后可以在 作业 > 数据清理 列表中查看任务信息。

   

查看数据清理任务

作业信息

1. 访问 作业 > 数据清理，在数据清理作业列表中，单击目标作业的名称，查看作业详情。也可以通过操作列的 ··· 对目标作业进行更多操作。

   • 终止：当作业执行方式为周期执行或定期执行时，可通过终止结束该作业。勾选目标任务，可通过上方的批量操作按钮进行批量终止。
   • 禁用/启用：当作业执行方式为周期执行或定期执行时，可通过禁用使该作业暂时停止执行，在重新启用后再次生效。
   • 编辑：当作业状态为禁用时，可通过编辑对该作业内容进行更新。
   • 删除：当作业状态为已完成或终止时，可通过删除对该作业进行删除操作。
   • 查看：查看作业内容详情。
   • 克隆：复制该作业执行内容，快速生成相同配置的新建作业界面。
   • 分享：快速复制该作业的访问地址。

   

2. 在弹出的作业详情面板中，默认展示该作业的 基本信息 页签查看作业类型、源数据库、目标数据库、变量配置、清理范围和执行方式等信息。

   

3. 在作业详情面板中，单击 执行记录 页签查看作业状态和执行详情等操作。

   

4. 在作业详情面板中，单击 操作记录 页签查看作业的审批状态和变更记录。

   

批量导入/导出

批量导出

1. 访问 作业 > 数据清理。

2. 在数据清理列表中，勾选目标任务，单击 批量操作 > 批量导出。

   

3. 在弹窗中确认导出内容，单击 导出，完成批量导出。

   

4. 导出完成后，在页面右侧展示导出结果，导出成功后，可以查看密钥，并在本地查看导出文件。

   注意

   请妥善保存密钥，在导出文件导入时需要使用。

   

批量导入

1. 访问 作业 > 数据清理。

2. 在数据清理列表中，，单击 新建数据清理 右侧的 ∨ 按钮，选择 导入数据清理。

   

3. 在导入数据清理弹窗中，选择要导入的文件，填写文件密钥，选择目标项目后，单击 下一步：导入。

   

4. 勾选要导入的任务并选择目标数据库，勾选 我已确认相关业务风险，单击 导入。

   

5. 待任务导入完成后，可在列表中进行查看。

相关文档

• 数据归档