索引监控与维护

本文档介绍了如何监控和维护 OceanBase Database AI 中的向量索引。

监控

通过系统视图可以查看向量索引的基本信息和实时状态。

维护

增量数据过多的情况下，搜索性能会下降。为减小增量数据表的数据量，OceanBase Database AI 引入了 DBMS_VECTOR 对向量索引进行维护。

全量刷新（重建）

手动全表重建

如果建立索引后更新或删除数据较多，建议使用 [REBUILD_INDEX](../../../700.reference/600.pl-reference/1000.pl-system-package-mysql/17850.dbms-vector-mysql/300.rebuild-index-mysql.md) 过程进行全量刷新。说明和示例请参见 REBUILD_INDEX。

全量刷新每 24 小时会检查一次，如果新增数据超过原有数据的 20%，则自动执行全量刷新。全量刷新会在后台异步执行，首先创建新的索引，然后替换旧索引。在重建过程中，旧索引保持可用状态，但整体过程相对较慢。

我们还提供了 vector_index_memory_saving_mode 配置项来控制索引重建的内存占用。开启此模式可以降低分区表向量索引重建（rebuild）过程中的内存消耗。通常，向量索引重建需要消耗相当于索引两倍的内存。开启省内存模式后，系统会在分区表单个分区构建完成后，通过暂时删除该分区的内存索引来释放内存，从而有效降低重建操作所需的总内存。语法和示例请参见vector_index_memory_saving_mode。

注意事项如下：

• 执行 离线 DDL 操作（例如 ALTER TABLE 修改表结构或主键）时，将导致索引表的重建。由于重建索引无法指定并行度，系统会默认使用单线程，因此在数据量较大时，重建过程会比较缓慢，从而影响整个 离线 DDL 的执行效率。

• 重建索引时如果需要修改索引参数，必须在参数列表中同时指定 type 和 distance，且 type 和 distance 必须和原索引类型一致，例如原来索引类型是 hnsw，距离算法是 l2，则重建时必须同时指定 type=hnsw 和 distance=l2。

• 重建索引时支持：

  • 修改 m，ef_search，ef_construction 值。
  • 在线重建 ef_search 参数。
  • hnsw 与 hnsw_sq 索引类型互相转换重建。
  • ivf_flat 与 ivf_flat，ivf_pq 与 ivf_pq 的索引类型互相转换重建。
  • 支持重建时设置并行度。示例见 REBUILD_INDEX。

• 重建索引时不支持：

  • 修改 type 和 distance 类型。
  • hnsw 与 ivf 的索引类型互相转换重建。
  • hnsw 与 hnsw_bq 的索引类型互相转换重建。
  • ivf_flat，ivf_pq 之间的交叉重建。

自动分区重建（推荐）

会触发自动分区重建任务的场景有两种：

• 执行向量索引搜索语句时。
• 定时检查，可手动配置执行周期。

1. 配置执行周期

   在 oceanbase 数据库下，通过配置项 vector_index_optimize_duty_time 配置执行周期。示例如下：

   ALTER SYSTEM SET vector_index_optimize_duty_time='[23:00:00, 24:00:00]';
   

   如上配置完成后，分区重建任务只会在 23:00:00~24:00:00 时间段执行，其他时间段里不会发起。详细参数说明参见相应配置项文档。

2. 查看任务进展/历史任务

   可通过 CDB/DBA_OB_VECTOR_INDEX_TASKS 或 CDB/DBA_OB_VECTOR_INDEX_TASK_HISTORY 视图查看任务进展和历史任务。

   注意

   上述视图涵盖分区重建任务、合并数据段（Segment）任务以及合并转储任务，可通过视图中的 TASK_TYPE 字段区分任务类型。

   通过 status 字段判断任务当前状态：

   • 0（PREPARE），表示任务等待执行。
   • 1（RUNNING），表示任务正在执行中。
   • 2（PENDING），表示任务暂停执行。
   • 3（FINISHED），表示任务已完成。

   执行结束的任务，即状态 status=FINISHED 的任务，无论是否执行成功都会被转存到历史表。详细使用示例请参见相应视图文档。

3. 取消任务

   如需取消任务，可通过 DBA_OB_VECTOR_INDEX_TASKS 或 CDB_OB_VECTOR_INDEX_TASKS 视图获取 trace_id 后，执行以下命令：

   ALTER SYSTEM CANCEL TASK <trace_id>;
   

   示例如下：

   ALTER SYSTEM CANCEL TASK "Y61480BA2D976-00063084E80435E2-0-1";
   

手动强制转储/合并（备选）

增量段（Segment）的转储与合并流程通常由数据库系统后台模块在满足特定条件时自动触发。同时，OceanBase Database AI 也支持通过 DBMS_VECTOR 系统包中的 FLUSH_INDEX 和 COMPACT_INDEX 过程手动强制触发转储和合并任务，以便用户根据实际需求进行维护管理。

语法和示例请参见 FLUSH_INDEX 和 COMPACT_INDEX。

触发后，可以查询 DBA_OB_VECTOR_INDEX_TASKS，task_type=5 为触发的转储任务，task_type=6 为触发的合并任务，该任务可能执行得很快，如果上面的表未找到，可以再查看历史任务视图 DBA_OB_VECTOR_INDEX_TASK_HISTORY。

相关文档

• 向量索引性能优化
• 增量 Segment 的自动转储合并可通过配置项控制阈值，详见向量索引内存管理