---
title: "全文搜索 - OceanBase AI 数据库 V4.6.3 | OceanBase 文档中心"
description: 全文搜索 OceanBase AI 数据库通过全文索引功能提供了对文本数据的高效搜索能力。本篇文档主要介绍全文索引的使用方法、分词器和文本分析器的选择、同步与异步索引的创建以及适用场景。 功能支持 全文搜索支持的主要功能如下。各功能的使用限制和配置方法请参见对应章节。 功能 支持说明 支持的列类型 支持 CHAR 、…
image: https://mdn.alipayobjects.com/huamei_22khvb/afts/img/A*OSPzQ6GUQF4AAAAAQHAAAAgAeiGDAQ/original
---
切换语言

- 中文站 - 简体中文
- International - English
- 日本站 - 日本語

文档反馈![](https://mdn.alipayobjects.com/huamei_22khvb/afts/img/A*M1BcQZvbrRMAAAAAQGAAAAgAeiGDAQ/original) OceanBase AI 数据库V 4.6.3

# 全文搜索

更新时间：2026-11-16 20:22:57

[编辑](https://github.com/oceanbase/oceanbase-database-ai/edit/V4.6.3/zh-CN/400.ai-search/500.full-text-search.md)  

OceanBase AI 数据库通过全文索引功能提供了对文本数据的高效搜索能力。本篇文档主要介绍全文索引的使用方法、分词器和文本分析器的选择、同步与异步索引的创建以及适用场景。

## 功能支持

全文搜索支持的主要功能如下。各功能的使用限制和配置方法请参见对应章节。

| 功能 | 支持说明 |
| --- | --- |
| 支持的列类型 | 支持 `CHAR`、`VARCHAR` 以及文本大对象类型（`TINYTEXT`、`TEXT`、`MEDIUMTEXT`、`LONGTEXT`）的列。 |
| 多个全文索引 | 同一张表可以创建多个全文索引，同一列也可以创建多个全文索引。 |
| 分词与文本分析 | 支持 Space（默认）、Basic English（Beng）、Ngram、Ngram2、IK 分词器，以及文本分析器（Analyzer）。详情参见[分词器和文本分析器](#分词器和文本分析器)。 |
| 同步全文索引 | 写入表时同步维护索引，写入后即可搜索，适用于对实时可见性要求高的场景。详情参见[同步全文索引](#同步全文索引)。 |
| 异步全文索引 | 由后台增量刷新索引，提供最终一致性，适用于可以接受索引数据可见延迟的场景。当前为实验特性，不支持生产环境使用。详情参见[异步全文索引](#异步全文索引)。 |
| 数据写入、更新与删除 | 支持对已创建全文索引的表执行数据变更，包括 `INSERT INTO ... ON DUPLICATE KEY UPDATE`、`REPLACE INTO`、多表更新与删除，以及通过可更新视图操作数据。详情参见[更新与删除数据](#更新与删除数据)。 |
| 全文搜索与相关性评分 | 支持通过 `MATCH ... AGAINST` 匹配文本并计算相关性评分。详情参见[使用同步全文索引搜索](#使用同步全文索引搜索)。 |
| 混合搜索 | 支持通过 `HYBRID_SEARCH` 进行全文搜索，以及组合全文与向量搜索。详情参见[异步全文索引与混合搜索](#异步全文索引与混合搜索)。 |

同步与异步全文索引的具体差异请参见[同步与异步索引对比](#同步与异步索引对比)。下面展开使用介绍。

## 通用说明与限制

本节介绍全文索引的基本使用条件，以及带同步或异步全文索引的表在旁路导入和 DDL 操作方面的支持范围。

### 基本条件

- 非分区表和分区表无论是否有主键，均可创建全文索引；异步全文索引仅支持在堆表（`ORGANIZATION = HEAP`）上创建。
 - 使用 `CLUSTER BY` 的聚簇表不支持创建同步或异步全文索引。
 - 支持 `CHAR`、`VARCHAR` 以及文本大对象类型（`TINYTEXT`、`TEXT`、`MEDIUMTEXT`、`LONGTEXT`）的列。
 - 仅支持创建局部（`LOCAL`）全文索引。
 - 创建全文索引时不可以指定 `UNIQUE` 关键字。
 - 如果要创建涉及多列的全文索引，则必须确保这些列具有相同的字符集。
 - 同步和异步全文索引均不支持列存格式。
 - 同一张表上，同一种索引类型不支持同时存在同步索引与异步索引。

### 旁路导入

带同步或异步全文索引的表仅支持在 `FULL` 模式下通过 `INSERT INTO ... SELECT` 执行全量旁路导入；非 `FULL` 模式或非 `INSERT INTO ... SELECT` 方式均不支持。

验证旁路导入是否生效时，应先在目标租户中手动执行以下语句，禁止在遇到不支持的场景时回退为普通导入，避免将普通导入成功误认为旁路导入成功：

```sql
ALTER SYSTEM SET direct_load_allow_fallback = FALSE;

```

该配置仅控制是否允许回退，不会启用旁路导入。执行导入时，仍需通过 Hint 或 `default_load_mode` 配置项指定旁路导入方式。参数说明请参见 [direct_load_allow_fallback](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007090679)。

### DDL 支持情况

含同步全文索引或异步全文索引的表对 DDL 操作的支持情况如下：

#### 注意

对于标注 **需要重建表则不支持** 的操作，如果需要通过 Offline DDL 重建表，则无法在含同步全文索引的表上执行。

| **操作** | **同步全文索引** | **异步全文索引** |
| --- | --- | --- |
| 调整已有列的顺序，如通过 `CHANGE ... AFTER/FIRST` 调整列位置 | 不支持 | 支持 |
| 修改非主键列的类型或精度，如 `INT` 改为 `BIGINT`、调整 `DECIMAL` 精度 | 需要重建表则不支持 | 支持 |
| 修改全文索引列的类型，如 `VARCHAR` 改为 `TEXT` | 需要重建表则不支持 | 支持，修改后仍须满足全文索引的列类型要求 |
| 转换表字符集、修改非主键列字符集 | 需要重建表则不支持 | 支持 |
| 新增自增列、添加 `STORED` 生成列 | 需要重建表则不支持 | 支持，仍须满足自增列、生成列的一般约束 |
| 删除非主键列、生成列 | 需要重建表则不支持 | 支持，仍须满足列依赖约束 |
| 组合执行多项操作，如同时修改列类型和调整列顺序 | 需要重建表则不支持 | 支持符合各项操作约束的组合 |
| 将非分区表改为分区表、修改分区规则 | 不支持 | 支持，包括 RANGE、LIST 分区场景 |
| 添加、删除或修改主键 | 不支持 | 不支持，受堆表自身限制 |
| 修改主键列类型，且需要重写数据 | 不支持 | 不支持，受堆表自身限制 |
| `ADD COLUMN GROUP`，包括行存转列存、行列混存 | 不支持 | 不支持 |
| `TRUNCATE TABLE`、`DROP TABLE` | 支持 | 支持 |
| 删除、清空分区及子分区 | 支持符合对应操作约束的场景 | 支持符合对应操作约束的场景 |
| 手动分区分裂，如 `REORGANIZE PARTITION` | 不支持 | 不支持 |

## 创建全文索引

创建全文索引需要根据数据实时性要求选择同步或异步索引，并根据文本语言和搜索需求选择分词器或文本分析器。以下介绍两类索引的区别、分词配置及创建方法。

### 分词器和文本分析器

OceanBase AI 数据库的全文索引功能支持多种内置分词器和文本分析器，帮助用户根据业务场景选择最优的文本分词策略。默认分词器为 **Space 分词器**，其他分词器需通过 `WITH PARSER` 参数显式指定。除常规分词器插件外，还可选用文本分析器（Analyzer）进行更完整的文本分析。

**分词器列表**：

- Space 分词器
 - Basic English 分词器
 - IK 分词器
 - Ngram 分词器
 - Analyzer 文本分析器

#### 注意

Analyzer 文本分析器从 V4.6.2.1 版本开始支持。

**配置方法示例**：

在创建或修改表时，通过 `CREATE TABLE/ALTER TABLE` 语句在为表创建全文索引时，设置参数 `WITH PARSER tokenizer_option`，指定全文索引的分词器类型。更多分词器的属性参数设置参考 [创建索引](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007088632)。

```sql
CREATE TABLE tbl2(id INT, name VARCHAR(18), doc TEXT,
    FULLTEXT INDEX full_idx1_tbl2(name, doc)
      WITH PARSER NGRAM
      PARSER_PROPERTIES=(ngram_token_size=3));

-- 修改现有表的全文索引分词器  
ALTER TABLE tbl2(id INT, name VARCHAR(18), doc TEXT,
    FULLTEXT INDEX full_idx1_tbl2(name, doc)
      WITH PARSER NGRAM
      PARSER_PROPERTIES=(ngram_token_size=3));  -- Ngram示例  

```

#### 分词器选择策略

可先根据下表初步选择适合的分词器，再结合后文对各分词器的工作方式、适用场景和分词效果的说明，确定具体配置。

| **业务场景** | **推荐分词器/Analyzer** | **理由** |
| --- | --- | --- |
| 通用文本、英文、多语言混合 | `standard` Analyzer | 基于 [UAX #29 规范](https://www.unicode.org/reports/tr29/)识别词边界，并通过 Analyzer 统一小写，不额外做词干提取或停用词过滤。 |
| 英文文章、知识库 | `english` Analyzer | 支持小写转换、英文基础停词过滤和词干提取，适合希望不同词形也能命中的场景。 |
| 中文文章、知识库 | IK | 按中文词典分词。`smart` 偏向较粗粒度词语，`max_word` 产生更细的词项，有利于扩大召回，但需要评估查询性能和索引开销。 |
| 泰语文本搜索 | `thai` Analyzer | 支持泰语词边界切分、大小写转换、数字归一化及泰语基础停词过滤。 |
| 越南语文本搜索 | `vietnamese` Analyzer | 越南语，归一化大小写、全角字符及变音符号。 |
| 印尼语文本搜索 | `indonesian` Analyzer | 支持小写转换、印尼语基础停词过滤和词干提取。 |
| 马来语文本搜索 | `malay` Analyzer | 提供标准切词和小写转换。 |
| 日志或编码的模糊匹配 | Ngram / Ngram2 | 按连续字符生成词项；前者固定长度，后者支持长度范围。适合片段召回，但可能增加索引体积和无关命中。 |
| 基于空格和特殊符号的基础分词 | Space / Beng | 基于空格和特殊符号的基础分词。 |

#### Space 分词器（默认）

**概念**：

- 以空格、标点符号（如逗号、句号）或非字母数字字符（除下划线 `_` 外）为分隔符拆分文本。
 - 分词结果仅包含长度在 `min_token_size`（默认 3）到 `max_token_size`（默认 84）之间的有效词元。
 - 中文字符被视为单个字符处理。

**适用场景**：

- 英文等以空格分隔的语言（如 “apple watch series 9”）。
 - 中文以人工添加分隔符的场景（如 “南京 长江大桥”）。

**分词效果**：

```shell
SELECT TOKENIZE ("南京市长江大桥有1千米长,详见www.XXX.COM, 邮箱xx@OB.COM，一平方公里也很小 hello-word h_name", 'space');

```

```shell
+-------------------------------------------------------------------------------------------------------------+
| tokenize ("南京市长江大桥有1千米长,详见www.XXX.COM, 邮箱xx@OB.COM，一平方公里也很小 hello-word h_name", 'space')   |
+-------------------------------------------------------------------------------------------------------------+
|［"详见www", "一平方公里也很小", "xxx", "南京市长江大桥有1千米长", "邮箱xx", "word", "hello”, "h_name"］             |
+-------------------------------------------------------------------------------------------------------------+

```

可以看到，本示例中 Space 分词器将文本拆分为多个词元，其中空格、逗号、句号等符号作为分隔符，中文连续字符视为单词。

#### Basic English（Beng）分词器

**概念**：

- 与 Space 分词器类似，但不保留下划线 `_`，将其视为分隔符。
 - 适用于英文短语分隔，但对无空格术语（如 “iPhone15”）切分效果有限。

**适用场景**：

- 英文文档的基础搜索（如日志、评论）。

**分词效果**：

```shell
SELECT TOKENIZE ("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'beng');

```

```shell
+-----------------------------------------------------------------------------------------------------------------------+
| tokenize ("南京市长江大桥有1千米长,详见WWW.XXX.COM，邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'beng')                 |
+-----------------------------------------------------------------------------------------------------------------------+
|["详见www", "一平方公里也很小", "xxx", "南京市长江大桥有1千米长", "邮箱xx", "word", "hello", "name"]                              |
+-----------------------------------------------------------------------------------------------------------------------+

```

本示例中下划线`_`被切分，与 Space 分词器的核心差异在于对`_`的处理。

#### Ngram 分词器

**概念**：

- 固定 n 值分词：默认 `n=2`，将连续非分隔符字符拆分为长度为 `n` 的子序列。
 - 分隔符判定规则同 Space 分词器（保留 `_` 和数字字母）。
 - 不支持长度限制参数，输出所有可能的 `n` 长度词元。

**适用场景**：

- 短文本模糊匹配（如用户 ID、订单号）。
 - 需要固定长度特征提取的场景（如密码策略分析）。

**分词效果**：

```shell
SELECT TOKENIZE ("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'ngram');

```

```shell
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| tokenize ("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'ngram'）                     |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|［"邮箱", "ww", "大桥", “ob", "me", "里也", "or", "_n", "千米", "很小", "米长", "ll", "箱x", "公里", "见w", "co", "也很", "1千", "京市", "lo", "江大", "el", "rd", "一平", "方公", "he", "am", "南京", "h_", "市长", "wo", "xx", "长江", "有1", "na", "详见", "平方", "om", "桥有"   |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

```

本示例中，Ngram 分词器以空格、逗号、句号等符号作为分隔符，对每段连续非分隔符字符生成所有长度为 `2` 的连续字符片段作为词元。该切分方式与语言无关，不按词义划分边界。例如，“南京市”会生成“南京”和“京市”两个词元。

#### Ngram2 分词器

**概念**：

- 支持**动态 n 值范围**：通过 `min_ngram_size` 和 `max_ngram_size` 参数设置词元长度范围。
 - 适用于需要多长度词元覆盖的场景。

**适用场景**： 同时需要多个固定长度词元的场景。

#### 注意

用 ngram2 分词器时，需注意其内存占用较高，比如设置 `min_ngram_size` 和 `max_ngram_size` 参数范围较大时，会生成大量词元组合，可能导致资源消耗过大。

**分词效果**：

```shell
SELECT TOKENIZE ("南京市长江大桥1千米", 'ngram2', '[{"additional_args":[{"min_ngram_size": 4},{"max_ngram_size": 6}]}]');

```

```shell
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| tokenize("南京市长江大桥1千米", 'ngram2', '[{"additional_args":[{"min_ngram_size": 4},{"max_ngram_size": 6}]}]')                                                                                                              |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| ["长江大桥", "大桥1千", "江大桥1千", "市长江大桥", "京市长江", "江大桥1", "南京市长", "市长江大", "大桥1千米", "江大桥1千米", "市长江大桥1", "长江大桥1", "南京市长江", "桥1千米", "南京市长江大", "长江大桥1千", "京市长江大桥", "京市长江大"]        |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

```

本示例从原文的各个字符位置开始，依次截取长度为 `4`、`5`、`6` 个字符的片段。例如，从“南”开始可生成“南京市长”“南京市长江”“南京市长江大”，从“京”开始可生成“京市长江”等片段。

#### IK 分词器

**概念**：

- 基于开源工具 IK Analyzer 的中文分词器，支持两种模式：
     - Smart 模式：优先输出长词，减少切分数量，每个字符只归属于一个词，如“南京市”不切分为“南京”“市”。
     - Max Word 模式：输出所有可能的短词，会把同一个字符包含到不同的分词中， 尽可能多的提供词汇，如“南京市”切分为“南京”“市”。
 - 自动识别英文单词、邮箱、URL（不含 `://`）、IP 地址等格式。

**适用场景**：

各种中文分词场景，如：

- 电商商品描述搜索（如“华为Mate60”精准匹配）。
 - 社交媒体内容分析（如用户评论的关键词提取）。

**分词效果**：

- Smart 模式：

  ```shell
  SELECT TOKENIZE("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM 192.168.1.1 http://www.baidu.com hello-word hello_word", 'IK', '[{"additional_args":[{"ik_mode": "smart"}]}]');

  ```

  ```shell
  +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | tokenize("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM 192.168.1.1 http://www.baidu.com hello-word hello_word", 'IK', '[{"additional_args":[{"ik_mode": "smart"}]}]')                                                                                                      |
  +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  |["邮箱", "hello_word", "192.168.1.1", "hello-word", "长江大桥", "www.baidu.com", "www.xxx.com", "xx@ob.com", "长", "http", "1千米", "详见", "南京市", "有"]                                                         |
  +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

  ```

  本示例 Smart 模式将“南京市长江大桥”切分为“南京市”和“长江大桥”，不再额外输出“南京”“长江”“大桥”等短词。同时，尝试将数词与量词合并，例如将“1千米”作为一个词输出。
 - max_word 模式：

  ```shell
  SELECT TOKENIZE("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM", 'IK', '[{"additional_args":[{"ik_mode": "max_word"}]}]');

  ```

  ```shell
  +-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | tokenize("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM", 'IK', '[{"additional_args":[{"ik_mode": "max_word"}]}]')                                                |
  +-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  |["米", "长江大桥", "市长", "千", "南京市", "南京", "千米", "xx", "www.xxx.com", "长", "www", "xx@ob.com", "长江", "ob", "XXX", "com", "详见", "1", "有", "大桥", "邮箱"]       |
  +-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+

  ```

  本示例同时输出“南京市”和“南京”、“长江大桥”和“长江”“大桥”，还会识别跨越词语边界的“市长”。

#### 文本分析器（Analyzer）

#### 注意

本功能从 V4.6.2.1 版本开始支持。

**概念**：

- 通过 `WITH PARSER analyzer` 与 JSON 配置启用 Analyzer。
 - Analyzer 由字符过滤器（CharFilter）、分词器（Tokenizer）和词元过滤器（TokenFilter）组成文本分析管道（pipeline），其中 Tokenizer 负责分词，但整体能力涵盖字符预处理与词元后处理，不限于单一分词器插件所能提供的功能。
 - 当前版本支持以下内置类型：
     - `standard`：多语言通用。
     - `english`：英语。
     - `thai`：泰语。
     - `vietnamese`：越南语。
     - `indonesian`：印尼语。
     - `malay`：马来语。

**适用场景**：

- 面向多语言、多脚本文本的复杂分析需求，能够适应不同语种和定制化的文本分析任务。

**分词效果**：

```sql
SELECT TOKENIZE("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'analyzer', '[{"analysis": {"analyzer": "standard"}}]');

```

```shell
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| tokenize("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'analyzer', '[{"analysis": {"analyzer": "standard"}}]')                               |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| ["邮箱", "大", "千米", "很小", "见", "一", "桥", "1", "word", "hello", "平方公里", "www.xxx.com", "也", "ob.com", "h_name", "长", "详", "xx", "长江", "南京市", "有"]                        |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set

```

本示例使用 `standard` 文本分析器处理中英文混合文本。例如，“南京市长江大桥”被切分为“南京市”“长江”“大”“桥”，“hello-word”被切分为“hello”和“word”，`WWW.XXX.COM` 被转换为小写的 `www.xxx.com`。输出词元的顺序不保证与其在原文中的顺序一致。

在使用 Analyzer 创建全文索引时，可以使用 [TOKENIZE](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007091386) 函数调试分词结果。

Analyzer 的详细操作指引请参见 [创建索引](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007088632) 中的 `使用文本分析器（Analyzer）创建全文索引` 章节。

#### 分词参数说明

以下分词参数适用于同步和异步全文索引，三种创建方式的配置方法相同。分词器的选择及分词效果请参见[分词器和文本分析器](#分词器和文本分析器)。

- `WITH PARSER tokenizer_option`：可选项，指定全文索引的分词器。取值如下：

     - `SPACE`：默认值，表示按空格进行分词。可以指定以下属性：

      | 属性 | 取值范围 |
      | --- | --- |
      | min_token_size | [1, 16] |
      | max_token_size | [10, 84] |
     - `NGRAM`：表示基于 N-Gram（中文）的分词方式。可以指定以下属性：

      | 属性 | 取值范围 |
      | --- | --- |
      | ngram_token_size | [1, 10] |
     - `NGRAM2`：表示将文本拆成 `min_ngram_size`～`max_ngram_size` 范围的连续字符。

      | 属性 | 取值范围 |
      | --- | --- |
      | min_ngram_size | [1, 16] |
      | max_ngram_size | [1, 16] |
     - `BENG`：基于 Beng （基础英文）的分词方式。可以指定以下属性：

      | 属性 | 取值范围 |
      | --- | --- |
      | min_token_size | [1, 16] |
      | max_token_size | [10, 84] |
     - `IK`：表示基于 IK（中文）的分词方式。当前仅支持 `utf-8` 字符集。可以指定以下属性：

      | 属性 | 取值范围 |
      | --- | --- |
      | ik_mode | - `smart`     - `max_word` |

  可以使用 [TOKENIZE](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007091386) 函数查看文本按照指定的分词器及 Json 形式参数的分词结果。
 - `PARSER_PROPERTIES[=](parser_properties_list)`：可选项，指定分词器的属性。取值如下：

     - `min_token_size`：表示最小分词长度，默认值为 3，取值范围是 1 到 16。
     - `max_token_size`：表示最大分词长度，默认值为 84，取值范围是 10 到 84。
     - `ngram_token_size`：表示 `NGRAM` 的分词长度，只有 `NGRAM` 分词器有效，默认值为 2，取值范围是 1 到 10。
     - `ik_mode`: 表示 `IK` 分词器的分词模式。取值如下：

           - `smart`：默认值，表示词典中的词汇会被用来提高分词的准确性，词典中的词汇边界会被优先考虑，从而可能减少不必要的扩展。
           - `max_word`：表示在词典中定义的词汇会被识别出来，但不会影响分词的最大化扩展。即使词典中有定义，`max_word` 模式仍然会尝试将文本切分成更多的词汇。

### 同步与异步索引对比

| **对比项** | **同步全文索引** | **异步全文索引** |
| --- | --- | --- |
| DDL 关键字 | `FULLTEXT` | `ASYNC FULLTEXT` |
| 索引维护时机 | 写入表时同步维护 | 后台增量刷新，非实时写入索引 |
| 数据可见性 | 写入后即可搜索 | 最终一致，可能存在可见延迟 |
| 写入/搜索性能 | 高吞吐场景下可能成为性能瓶颈 | 以可见延迟换取更高的写入与搜索性能 |
| 适用场景 | 全文搜索/混合搜索 | 主要用于混合搜索 |
| 分词器 | `WITH PARSER` / `PARSER_PROPERTIES` | 与同步全文索引相同 |
| 表类型 | 均可 | 仅支持堆表 |
| `UPDATE` 行为 | 按常规更新处理 | 转换为 `DELETE` + `INSERT` |

### 同步全文索引

可以使用 `CREATE TABLE` 语句、`CREATE FULLTEXT INDEX` 语句或 `ALTER TABLE` 语句创建同步全文索引。同步全文索引在写入表时同步维护索引，写入后即可被搜索；适合对实时可见性要求高的场景。若需提升写入与查询吞吐、且可接受索引可见延迟，请参见下文 [异步全文索引](#异步全文索引)。同步与异步的差异对照见 [同步与异步索引对比](#同步与异步索引对比)。

#### 注意事项

除上述通用说明与限制外，还需注意以下事项：

- 共享存储模式下，含同步全文索引的表不支持触发 Offline 重建的操作。各项 DDL 的支持情况请参见[DDL 支持情况](#DDL%20支持情况)。

#### 随表创建语法

在创建表时，通过 `FULLTEXT INDEX` 同时创建全文索引。以下示例分别展示使用默认分词器和指定分词器的方式。

- 创建表 `tbl1`，同时创建全文索引 `full_idx1_tbl1`。

  ```sql
  CREATE TABLE tbl1(id INT, name VARCHAR(18), date DATE, PRIMARY KEY (id), FULLTEXT INDEX full_idx1_tbl1(name));

  ```
 - 创建表 `tbl2`，同时创建全文索引 `full_idx1_tbl2`，指定全文索引的分词器为 `NGRAM`，同时通过 `PARSER_PROPERTIES` 设置分词器属性。

  ```

完整语法请参见 [CREATE TABLE](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007091071)，分词参数请参见[分词参数说明](#分词参数说明)。

#### 后建索引语法

对于已有的表，可以使用 `CREATE FULLTEXT INDEX` 创建索引，也可以通过 `ALTER TABLE` 添加索引。

##### CREATE FULLTEXT INDEX 语法

创建 `tbl3` 表后，再创建全文索引 `ft_idx1_tbl3`。

1. 创建表 `tbl3`。

   ```sql
   CREATE TABLE tbl3(col1 INT, col2 VARCHAR(4096));

   ```
 2. 在表 `tbl3` 上创建全文索引 `ft_idx1_tbl3`，指定全文索引的分词器为 `IK`，同时通过 `PARSER_PROPERTIES` 设置分词器属性。

   ```sql
   CREATE FULLTEXT INDEX ft_idx1_tbl3 ON tbl3(col2)
       WITH PARSER IK
       PARSER_PROPERTIES=(ik_mode='max_word');

   ```

完整语法请参见 [CREATE INDEX](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007091073)。

##### ALTER TABLE 语法

创建表 `tbl4` 后，然后再添加全文索引 `ft_idx1_tbl4`。

1. 创建表 `tbl4`。

   ```sql
   CREATE TABLE tbl4(col1 INT, col2 TEXT);

   ```
 2. 为表 `tbl4` 添加全文索引 `ft_idx1_tbl4`，指定全文索引的分词器为 `BENG`，同时通过 `PARSER_PROPERTIES` 设置分词器属性。

   ```sql
   ALTER TABLE tbl4 ADD FULLTEXT INDEX ft_idx1_tbl4(col2)
       WITH PARSER BENG
       PARSER_PROPERTIES=(min_token_size=2, max_token_size=64);

   ```

完整语法请参见 [ALTER TABLE](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007091121)。

### 异步全文索引

#### 说明

异步全文索引从 V4.6.2.1 版本开始支持。

#### 注意

异步全文索引在当前版本为实验特性，不支持生产环境使用。

异步全文索引（`ASYNC FULLTEXT`）将索引维护改为后台增量刷新，以一定的可见延迟换取写入与查询性能的提升。当前主要用于混合搜索场景；查询保证最终一致性，不保证强一致与实时可见。更多差异请参见[同步与异步索引对比](#同步与异步索引对比)。

- 仅支持堆表（`ORGANIZATION = HEAP`）。
 - 共享存储模式下，含异步全文索引的表支持部分 Offline DDL 操作，具体请参见[DDL 支持情况](#DDL%20支持情况)。
 - 异步索引功能需要手动开启。
 - 后台增量刷新，仅保证最终一致性，数据可能延迟可见。
 - 当前支持异步全文索引与异步搜索索引；异步向量索引、异步普通索引暂不支持。
 - 对包含异步索引的表，`UPDATE` 会转换为 `DELETE` + `INSERT`。
 - 异步索引支持自动刷新、自动合并和手动合并，并可通过 `REFRESH_ON_ERROR` 配置刷新失败时的处理方式。详细说明请参见[维护全文索引（仅异步）](#维护全文索引（仅异步）)。

#### 开启异步索引功能

异步索引功能默认关闭，需通过 `_enable_async_index` 配置项开启：

```sql
ALTER SYSTEM SET _enable_async_index = true;

```

#### 随表创建与后建

创建异步全文索引需要在现有全文索引语法前增加 `ASYNC` 关键字，支持随表创建与后建。示例如下：

    随表建   后建

```sql
CREATE TABLE tbl5 (
col1 INT,
col2 TEXT,
ASYNC FULLTEXT INDEX ft_idx1_tbl5(col2)
WITH PARSER BENG
PARSER_PROPERTIES=(min_token_size=2, max_token_size=64)
) ORGANIZATION HEAP;

```

```sql
CREATE ASYNC FULLTEXT INDEX ft_idx1_tbl5 ON tbl5(col2)
    WITH PARSER BENG
    PARSER_PROPERTIES=(min_token_size=2, max_token_size=64);

```

端到端示例见下文 [异步全文索引与混合搜索](#异步全文索引与混合搜索)。

## 更新与删除数据

对于已创建包含全文索引的表，支持 `INSERT INTO ON DUPLICATE KEY`、`REPLACE INTO`、多表的更新/删除、以及可更新视图等复杂 DML 操作。

创建示例表和示例视图：

```sql
CREATE TABLE tbl1 (a int PRIMARY KEY, b text, FULLTEXT INDEX(b));
CREATE TABLE tbl2 (a int PRIMARY KEY, b text);

CREATE VIEW fts_view AS SELECT * FROM tbl1;

```

`INSERT INTO ON DUPLICATE KEY` 操作示例如下：

```sql
INSERT INTO articles VALUES ('OceanBase AI', 'Fulltext search index support insert into on duplicate key')
    ON DUPLICATE KEY UPDATE title = 'OceanBase AI 4.6.3';

```

`REPLACE INTO` 操作示例如下：

```sql
REPLACE INTO articles(title, context) VALUES ('Oceanbase AI 4.6.3', 'Fulltext search index support replace');

```

多表的更新/删除示例如下：

    多个表的更新语句。   多个表的删除语句。

```sql
UPDATE tbl1 JOIN tbl2 ON tbl1.a = tbl2.a
    SET tbl1.b = 'dddd', tbl2.b = 'eeee';

```

```sql
UPDATE  tbl1 JOIN tbl2 ON tbl1.a = tbl2.a SET tbl1.b = 'dddd';

```

```sql
UPDATE tbl1 JOIN tbl2 ON tbl1.a = tbl2.a SET tbl2.b = tbl1.b;

```

```sql
DELETE tbl1, tbl2 FROM tbl1 JOIN tbl2 ON tbl1.a = tbl2.a;

```

```sql
DELETE tbl1 FROM tbl1 JOIN tbl2 ON tbl1.a = tbl2.a;

```

```

可更新视图 DML 示例如下：

    写入   更新   删除

```sql
INSERT INTO fts_view VALUES(3, 'cccc'), (4, 'dddd');

```

```sql
UPDATE fts_view SET b = 'dddd';

```

```sql
UPDATE fts_view JOIN normal ON fts_view.a = tbl2.a
    SET fts_view.b = 'dddd', tbl2.b = 'eeee';

```

```sql
DELETE FROM fts_view WHERE b = 'dddd';

```

```sql
DELETE tbl1 FROM fts_view JOIN tbl1 ON fts_view.a = tbl1.a AND 1 = 0;

```

## 搜索数据

以下分别介绍如何使用同步全文索引和异步全文索引搜索数据。

### 使用同步全文索引搜索

在本示例中会定义一个表以保存文档资料，并为文档设置全文索引。利用全文索引可快速匹配包含期望关键字的文档，并按相似性从高到低排序。

1. 创建表。

   ```shell
   CREATE TABLE Articles (
       id INT AUTO_INCREMENT,
       title VARCHAR(255) ,
       content TEXT ,
       PRIMARY KEY (id),
       FULLTEXT ft1 (content) WITH PARSER SPACE
       );

   ```
 2. 插入数据。

   ```shell
   INSERT INTO Articles (title, content) VALUES
       ('OceanBase AI 数据库overview', 'OceanBase AI 数据库is an AI-native search database. It unifies relational, vector, text, JSON and GIS in a single engine, enabling hybrid search and in-database AI workflows.'),
       ('Full-Text Search in Databases', 'Full-text search allows for searching within the text of documents stored in a database. It is particularly useful for finding specific information quickly.'),
       ('Advantages of Using OceanBase AI 数据库', 'OceanBase AI 数据库offers several advantages such as high performance, reliability, and ease of use. ');

   ```
 3. 查询表。

   ```shell
   select * from Articles;

   ```

   ```shell
   +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | id | title                         | content                                                                                                                                                            |
   +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   |  1 | OceanBase AI 数据库overview               | OceanBase AI 数据库is an AI-native search database. It unifies relational, vector, text, JSON and GIS in a single engine, enabling hybrid search and in-database AI workflows. |
   |  2 | Full-Text Search in Databases | Full-text search allows for searching within the text of documents stored in a database. It is particularly useful for finding specific information quickly.       |
   |  3 | Advantages of Using OceanBase AI 数据库| OceanBase AI 数据库offers several advantages such as high performance, reliability, and ease of use.                                                                           |
   +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   3 rows in set (0.002 sec)

   ```
 4. 查询匹配的文档。

   ```shell
   select id,title, content,match(content) against('OceanBase AI 数据库database') score from Articles where match(content) against('OceanBase AI 数据库database');

   ```

   ```shell
   +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------+
   | id | title                         | content                                                                                                                                                            | score               |
   +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------+
   |  1 | OceanBase AI 数据库overview               | OceanBase AI 数据库is an AI-native search database. It unifies relational, vector, text, JSON and GIS in a single engine, enabling hybrid search and in-database AI workflows. |  0.4570384669555348 |
   |  3 | Advantages of Using OceanBase AI 数据库| OceanBase AI 数据库offers several advantages such as high performance, reliability, and ease of use.                                                                           |   0.240174672489083 |
   |  2 | Full-Text Search in Databases | Full-text search allows for searching within the text of documents stored in a database. It is particularly useful for finding specific information quickly.       | 0.20072992700729927 |
   +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------+
   3 rows in set (0.003 sec)

   ```
 5. 利用 EXPLAIN 命令，查看查询计划并分析其性能。

   ```shell
   explain select id,title, content,match(content) against('OceanBase AI 数据库database') score from Articles where match(content) against('OceanBase AI 数据库database');

   ```

   ```shell
   +-------------------------------------------------------------------------------------------------------------------------------------------------+
   | Query Plan                                                                                                                                      |
   +-------------------------------------------------------------------------------------------------------------------------------------------------+
   | ==============================================================                                                                                  |
   | |ID|OPERATOR             |NAME         |EST.ROWS|EST.TIME(us)|                                                                                  |
   | --------------------------------------------------------------                                                                                  |
   | |0 |SORT                 |             |4       |139         |                                                                                  |
   | |1 |└─TEXT RETRIEVAL SCAN|articles(ft1)|4       |138         |                                                                                  |
   | ==============================================================                                                                                  |
   | Outputs & filters:                                                                                                                              |
   | -------------------------------------                                                                                                           |
   |   0 - output([articles.id], [articles.title], [articles.content], [MATCH(articles.content) AGAINST('OceanBase AI 数据库database')]), filter(nil), rowset=16 |
   |       sort_keys([MATCH(articles.content) AGAINST('OceanBase AI 数据库database'), DESC])                                                                     |
   |   1 - output([articles.id], [articles.content], [articles.title], [MATCH(articles.content) AGAINST('OceanBase AI 数据库database')]), filter(nil), rowset=16 |
   |       access([articles.id], [articles.content], [articles.title]), partitions(p0)                                                               |
   |       is_index_back=true, is_global_index=false,                                                                                                |
   |       calc_relevance=true, match_expr(MATCH(articles.content) AGAINST('OceanBase AI 数据库database')),                                                      |
   |       pushdown_match_filter(MATCH(articles.content) AGAINST('OceanBase AI 数据库database'))                                                                 |
   +-------------------------------------------------------------------------------------------------------------------------------------------------+
   15 rows in set (0.002 sec)

   ```

### 异步全文索引与混合搜索

本示例创建带异步全文索引与向量索引的堆表，并使用 `HYBRID_SEARCH` 进行全文搜索及全文与向量混合搜索。`dsl_string` 语法与同步全文索引场景一致。更多混合搜索场景请参见 [混合搜索](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007088239)。

1. 创建异步全文索引。

       随表建   后建

   ```sql
   CREATE TABLE doc_async (
       c1 INT,
       vector VECTOR(3),
       content VARCHAR(255),
       VECTOR INDEX idx_vec(vector) WITH (distance=l2, type=hnsw_sq, lib=vsag),
       ASYNC FULLTEXT INDEX idx_content(content)
   ) ORGANIZATION HEAP;

   ```

   ```sql
   CREATE TABLE doc_async (
       c1 INT,
       vector VECTOR(3),
       content VARCHAR(255),
       VECTOR INDEX idx_vec(vector) WITH (distance=l2, type=hnsw_sq, lib=vsag)
   ) ORGANIZATION HEAP;

   ALTER TABLE doc_async ADD ASYNC FULLTEXT INDEX idx_content(content);
   -- 或
   CREATE ASYNC FULLTEXT INDEX idx_content ON doc_async(content);

   ```sql
   INSERT INTO doc_async VALUES
   (1, '[1,2,3]', 'oceanbase Elasticsearch database'),
   (2, '[1,2,1]', 'oceanbase mysql database'),
   (3, '[1,1,1]', 'oceanbase oracle database');

   ```
 3. 全文搜索（走异步全文索引）。

   ```sql
   SELECT c1, content FROM HYBRID_SEARCH(
   TABLE doc_async,
   '{
       "query": {
       "match": {"content": "oceanbase mysql"}
       }
   }'
   );

   ```
 4. 全文与向量混合搜索。

   ```sql
   SELECT c1, content FROM HYBRID_SEARCH(
   TABLE doc_async,
   '{
       "query": {
       "match": {"content": "oceanbase mysql"}
       },
       "knn": {
       "field": "vector",
       "k": 3,
       "query_vector": "[1,2,3]"
       },
       "rank": {
       "rrf": {
           "rank_constant": 60
       }
       }
   }'
   );

   ```

## 维护全文索引（仅异步）

### 自动刷新与合并

异步索引的自动刷新与合并通过表级配置设置。当前支持以下配置项：

| **配置项** | **类型** | **取值范围** | **默认值** | **含义** |
| --- | --- | --- | --- | --- |
| `ASYNC_REFRESH_INTERVAL` | INT（秒） | `[1, 60]` | `5` | 控制异步索引后台增量刷新服务的扫描周期。每隔该间隔检查表中是否有新的增量数据，若有则触发增量刷新任务。该参数从 V4.6.2.1 版本开始支持。 |
| `REFRESH_ON_ERROR` | 枚举 | `SKIP` / `ABORT` | `ABORT` | 控制增量刷新遇到单行异常数据时的处理策略。`ABORT` 表示整次刷新失败并阻塞后续增量，适合对数据完整性要求极高的场景；`SKIP` 表示跳过异常行并继续刷新，不阻塞其他行及其他索引，该行不会写入索引。注意：资源或环境类错误即使在 `SKIP` 模式下也不会跳过。该参数从 V4.6.2.1 版本开始支持。 |
| `DELETE_PURGE_THRESHOLD` | INT | `[20, 50]` | `33` | 控制异步索引中已删除数据的清理阈值。当已删除行数占总行数的比例超过该阈值时，触发合并以清理已删除的数据。 |
| `MERGE_SEGMENT_THRESHOLD` | INT | `[2, 48]` | `10` | 控制异步索引合并策略中的段（Segment）数阈值。当增量刷新产生的 Segment 数量超过该值时，触发合并，将多个小 Segment 合并为较大的 Segment。 |

#### 注意

随表创建异步索引时，向表中写入数据不会校验这些数据能否写入该索引。若存在无法写入索引的行，在默认 `ABORT` 策略下会卡住增量刷新，导致后续增量也无法通过该索引查询。此时可将 `REFRESH_ON_ERROR` 设为 `SKIP`，以跳过异常行并继续刷新。

```sql
-- 随表建设置刷新周期
CREATE TABLE doc_async (
    c1 INT,
    content VARCHAR(255),
    ASYNC FULLTEXT INDEX idx_content(content)
) ORGANIZATION HEAP ASYNC_INDEX_PARAMS = 'ASYNC_REFRESH_INTERVAL=10';

-- 只修改刷新间隔，其他配置保持不变
ALTER TABLE doc_async SET ASYNC_INDEX_PARAMS = 'ASYNC_REFRESH_INTERVAL=10';

-- 跳过增量刷新中的异常行
ALTER TABLE doc_async SET ASYNC_INDEX_PARAMS = 'REFRESH_ON_ERROR=SKIP';

-- 同时修改多个配置
ALTER TABLE doc_async SET ASYNC_INDEX_PARAMS = 'ASYNC_REFRESH_INTERVAL=10, REFRESH_ON_ERROR=SKIP, DELETE_PURGE_THRESHOLD=30, MERGE_SEGMENT_THRESHOLD=8';

```

完整语法说明请参见 [ALTER TABLE](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007091121)。

### 手动合并

除按 `MERGE_SEGMENT_THRESHOLD` 自动合并外，还可通过 `DBMS_ASYNC_INDEX` 系统包手动触发合并：

```sql
-- 手动触发合并
CALL DBMS_ASYNC_INDEX.FORCEMERGE('doc_async');

```

详细语法与参数请参见 [DBMS_ASYNC_INDEX 概述](https://www.oceanbase.com/docs/common-oceanbase-database-ai-1000000007090245)。

## 适用场景

全文索引适用于需要在大量文本数据中进行关键字搜索，以及根据文本相关性对结果进行排序和 Top-k 召回的场景，例如搜索文档、文章、商品描述和业务记录。

当文本搜索需要扫描大量数据并逐行进行字符串匹配时，查询开销会随数据规模和行数增加。全文索引通过对文本进行分词，并基于词元进行倒排索引，为全文搜索查询降低扫描和文本匹配开销，并支持文本相关性计算与排序。查询也可以结合其他结构化条件，缩小搜索范围。

典型场景包括：

- 企业内部知识库系统：按关键词搜索项目文档、会议记录、调研报告等文本数据，并结合文档分类、产品版本等条件筛选结果。
 - 图书与数字内容平台：搜索书籍、论文等内容的标题、摘要和正文，帮助用户搜索包含指定关键词的数据。
 - 新闻与社区内容搜索：搜索新闻、帖子和评论中包含指定关键词的内容，结合发布时间、栏目等条件筛选，并按文本相关性排序。
 - 法律文书搜索：按法律术语或业务关键词搜索合同、判决书和法规条文，辅助定位需要查阅的文书。
 - 病历与医学文献搜索：在病历文本、医学论文和参考资料中搜索疾病名称、药品名称等关键词，提高资料查阅效率。

使用全文索引时，可以根据文本语言和业务查询需求选择合适的分词器或文本分析器，并评估搜索效果、查询性能、索引存储及写入维护成本。

 上一篇 下一篇 ![有帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*y6ocSqN8cqsAAAAAAAAAAAAAARQnAQ)![无帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*BG9IQJyLHF8AAAAAAAAAAAAAARQnAQ)![反馈](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*eTWdQKCRKHwAAAAAAAAAAAAAARQnAQ)[AI](https://www.oceanbase.com/obi) 咨询热线
