OBKV-Table 过期数据删除

OBKV-Table 实现了过期数据删除（TTL）的能力，本文介绍如何通过命令或周期任务删除过期数据。

背景信息

OBKV-Table 提供了过期数据删除的功能，用户可以为关系表定义过期策略。在定义好过期策略之后，用户可以通过命令或者设置周期性任务两种方式触发删除任务，从而减少存储空间占用。同时，OBKV-Table 也会对过期数据进行过滤，以屏蔽过期数据的可见性。

使用说明

由于 OceanBase 数据库使用了 LSM-Tree 架构（删除也是一个追加写的操作），即使通过 TTL 任务删除了过期数据，实际存储空间不仅有可能不降低，而且还可能增加，而最终存储空间的释放还是需要依靠 Major Compaction，因此建议配合 major freeze 同时使用，在 TTL 任务删除完成之后执行 major freeze，例如，可以通过设置 major_freeze_duty_time 在 kv_ttl_duty_duration 之后实现。

TTL 过期删除任务是一个后台低优先级任务，暂无法保证过期数据立即删除的能力，为了不对系统的性能造成较大影响，在任务的执行过程中如果遇到 MemStore 内存 MEMSTORE_USED 超过阈值 FREEZE_TRIGGER（可以通过视图 gv$ob_memstore 查看）的情况，会暂停当前任务的执行直到内存降低到阈值以下。同时，为了不影响系统的恢复流程，对于正常进行物理恢复的租户，TTL 任务同样也会暂停该租户 TTL 任务的执行，直到租户完成恢复。

TTL 表的定义

• 创建 TTL 关系表 t1，每行数据在 b + INTERVAL 12 HOUR 之后会过期。

  CREATE TABLE t1 (
    a INT PRIMARY KEY, 
    b TIMESTAMP DEFAULT current_timestamp ON UPDATE current_timestamp)
  TTL (b + INTERVAL 12 HOUR);
  

• 变更表 t1，修改过期时间为 b + INTERVAL 1 DAY。

  ALTER TABLE t1 TTL (b + INTERVAL 1 DAY);
  

• 移除表 t1 的 TTL 属性。

  ALTER TABLE t1 REMOVE TTL;
  

表的 TTL 属性通过 COLUMN_NAME + INTERVAL NUM TTL_UNIT，其中:

• COLUMN_NAME 为表中的已定义属性，类型为 TIMESTAMP 或 DATETIME。
• + INTERVAL: 为固定部分。
• NUM: 表示过期时间的整型
• TTL_UNIT: 可以是 SECOND, MINUTE, HOUR, DAY, MONTH, YEAR。

TTL 任务的并行度

可以通过租户级配置项 ttl_thread_score 设置 TTL 工作线程数量，默认值为 2。

例如，修改 TTL 任务的并行度为 10:

ALTER SYSTEM SET ttl_thread_score = 10;

任务触发

触发 TTL 删除任务有两种方式，管控命令触发和周期性任务触发。

任务触发前需要打开租户的 TTL 任务开关。

ALTER SYSTEM SET enable_kv_ttl= true; -- 默认值为 false 

• 管控命令触发

  登录到系统租户，并执行如下命令，触发所有租户的 TTL 任务。

  ALTER SYSTEM trigger TTL;
  

• 设置周期任务

  登录到您需要执行 TTL 任务的租户，执行如下命令设置租户每天 TTL 任务的触发时间。

  ALTER SYSTEM SET kv_ttl_duty_duration = '[22:00:00, 24:00:00]'; // 默认值为 ""，表示不触发周期性 TTL 任务
  

登录到系统租户，并执行如下系统命令，可以挂起、恢复和取消正在执行的 TTL 任务。

ALTER SYSTEM SUSPEND TTL; -- 挂起当前正在执行的 TTL 任务
ALTER SYSTEM RESUME TTL; -- 恢复当前挂起的 TTL 任务
ALTER SYSTEM CANCEL TTL; -- 取消正在执行的 TTL 任务

TTL 命令只在用户租户或系统租户下执行有效。在用户租户下执行，只能管控本租户的 TTL 任务；在系统租户下执行，可以管控所有用户的 TTL 任务。

下面以 TRIGGER 命令为例，其他命令 SUSPEND/RESUME/CANCEL 的作用租户行为一致：

查看任务状态

通过视图可以查看当前以及历史 TTL 任务的状态和相关信息，与 TTL 任务相关的视图有四张：

视图 DBA_OB_KV_TTL_TASKS 和 DBA_OB_KV_TTL_TASK_HISTORY 字段说明：

视图 CDB_OB_KV_TTL_TASKS 和 CDB_OB_KV_TTL_TASK_HISTORY 字段说明：

过期数据的可见性

如果使用 OBKV-Table 接口对某条记录进行操作，但是该条记录已经过期，这个时候的表现和该条记录不存在保持一致。例如，关系表中存在一条主键为 k1 的过期记录，这个时候再插入一条主键为 k1 的记录会成功，而不是报主键冲突。

任务状态说明

对于每一个租户的 TTL 任务，在实际执行时，会被拆分成每个 TTL 表的 Tablet 级别任务，正在执行的租户任务和其 Tablet 任务都会被记录在任务表中，通过任务视图可以查看，历史分区任务会被移动到历史表中，通过历史视图可以查看。

• 在任务视图 DBA_OB_KV_TTL_TASKS 和 CDB_OB_KV_TTL_TASKS 中，有两类任务：租户级任务和 Tablet 级任务，对应两类不同状态。
• 在历史任务视图 DBA_OB_KV_TTL_TASK_HISTORY 和 CDB_OB_KV_TTL_TASK_HISTORY 中，保存历史租户级任务和 Tablet 任务记录。

Tablet 任务状态

租户任务状态：

设置历史任务清理周期

为了避免 TTL 历史任务堆积造成不必要的存储空间浪费，可以通过 kv_ttl_history_recycle_interval 配置项设置租户的历史 TTL 任务记录的保存时长（默认为 7 天）。

ALTER SYSTEM SET kv_ttl_history_recycle_interval= '30d'; -- 设置自动清理超过 30 天的历史 TTL 任务记录

示例：定时删除过期数据

1. 创建一个 TTL 关系表，并定义每条记录在 c + 10s 之后过期。

   CREATE TABLE ttl_table(a VARCHAR(1024) PRIMARY KEY,
     b VARCHAR(1024),
     c TIMESTAMP)
     TTL(c + INTERVAL 10 SECOND) PARTITION BY KEY(a) PARTITIONS 3;
   

2. 插入数据（可以使用 OBKV-Table/SQL，采用 OBKV-Table 接口插入数据，详细操作，请参见 [客户端简介与使用说明](../100.obkv-table/200.use-of-the-tableapi-client/100.introduction-to-the-client-and-instructions-of-use.md.md）。

   INSERT INTO ttl_table VALUES("k1", "hello obkv", now());
   INSERT INTO ttl_table VALUES("k2", "hello obkv", now());
   INSERT INTO ttl_table VALUES("k3", "hello obkv", now());
   

3. 等待 10s 之后，执行命令触发 TTL 任务执行。

   ALTER SYSTEM SET enable_kv_ttl= true; -- 打开 TTL 任务
   ALTER SYSTEM TRIGGER TTL; -- 从 0 点开始，会尝试触发一次 TTL 任务
   

4. 查看任务执行状态。

   obclient> SELECT * FROM OCEANBASE.DBA_OB_KV_TTL_TASKS;
   

   返回结果如下：

   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+---------------+-------------+---------------------+----------+------------+
   | TABLE_NAME | TABLE_ID | TABLET_ID | TASK_ID | START_TIME                 | END_TIME                   | TRIGGER_TYPE | STATUS        | TTL_DEL_CNT | MAX_VERSION_DEL_CNT | SCAN_CNT | RET_CODE   |
   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+---------------+-------------+---------------------+----------+------------+
   | ttl_table  |   500002 |    200003 |       1 | 2023-09-27 23:31:30.300276 | 2023-09-27 23:31:35.315848 | USER         | FINISHED      |           2 |                   0 |        2 | OB_SUCCESS |
   | ttl_table  |   500002 |    200002 |       1 | 2023-09-27 23:31:30.300276 | 2023-09-27 23:31:35.320258 | USER         | FINISHED      |           1 |                   0 |        1 | OB_SUCCESS |
   | ttl_table  |   500002 |    200001 |       1 | 2023-09-27 23:31:30.300271 | 2023-09-27 23:31:35.321879 | USER         | FINISHED      |           0 |                   0 |        0 | OB_SUCCESS |
   | NULL       |       -1 |        -1 |       1 | 2023-09-27 23:31:28.675583 | 2023-09-27 23:31:28.675583 | USER         | RS_TRIGGERING |           0 |                   0 |        0 | OB_SUCCESS |
   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+---------------+-------------+---------------------+----------+------------+
   4 rows in set (0.043 sec)
   

5. 任务执行完成会移动到历史表中，可以通过 OCEANBASE.DBA_OB_KV_TTL_TASK_HISTORY 表进行查看。

   obclient> SELECT * FROM OCEANBASE.DBA_OB_KV_TTL_TASK_HISTORY;
   

   返回结果如下：

   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+----------+-------------+---------------------+----------+------------+
   | TABLE_NAME | TABLE_ID | TABLET_ID | TASK_ID | START_TIME                 | END_TIME                   | TRIGGER_TYPE | STATUS   | TTL_DEL_CNT | MAX_VERSION_DEL_CNT | SCAN_CNT | RET_CODE   |
   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+----------+-------------+---------------------+----------+------------+
   | ttl_table  |   500002 |    200003 |       1 | 2023-09-27 23:31:30.300276 | 2023-09-27 23:31:35.315848 | USER         | FINISHED |           2 |                   0 |        2 | OB_SUCCESS |
   | ttl_table  |   500002 |    200002 |       1 | 2023-09-27 23:31:30.300276 | 2023-09-27 23:31:35.320258 | USER         | FINISHED |           1 |                   0 |        1 | OB_SUCCESS |
   | ttl_table  |   500002 |    200001 |       1 | 2023-09-27 23:31:30.300271 | 2023-09-27 23:31:35.321879 | USER         | FINISHED |           0 |                   0 |        0 | OB_SUCCESS |
   | NULL       |       -1 |        -1 |       1 | 2023-09-27 23:31:28.675583 | 2023-09-27 23:31:42.526853 | USER         | FINISHED |           0 |                   0 |        0 | OB_SUCCESS |
   +------------+----------+-----------+---------+----------------------------+----------------------------+--------------+----------+-------------+---------------------+----------+------------+
   4 rows in set (0.058 sec)
   

6. 任务执行完成之后，可以看到所有过期数据已经被删除。

   obclient> SELECT * FROM ttl_table;
   Empty set (0.060 sec)