基于湖库一体架构,统一管理结构化、半结构化与非结构化等多模态数据,一个系统承载事务处理、实时分析与 AI 工作负载。
全文搜索
更新时间:2026-11-16 20:22:57
OceanBase AI 数据库通过全文索引功能提供了对文本数据的高效搜索能力。本篇文档主要介绍全文索引的使用方法、分词器和文本分析器的选择、同步与异步索引的创建以及适用场景。
功能支持
全文搜索支持的主要功能如下。各功能的使用限制和配置方法请参见对应章节。
| 功能 | 支持说明 |
|---|---|
| 支持的列类型 | 支持 CHAR、VARCHAR 以及文本大对象类型(TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT)的列。 |
| 多个全文索引 | 同一张表可以创建多个全文索引,同一列也可以创建多个全文索引。 |
| 分词与文本分析 | 支持 Space(默认)、Basic English(Beng)、Ngram、Ngram2、IK 分词器,以及文本分析器(Analyzer)。详情参见分词器和文本分析器。 |
| 同步全文索引 | 写入表时同步维护索引,写入后即可搜索,适用于对实时可见性要求高的场景。详情参见同步全文索引。 |
| 异步全文索引 | 由后台增量刷新索引,提供最终一致性,适用于可以接受索引数据可见延迟的场景。当前为实验特性,不支持生产环境使用。详情参见异步全文索引。 |
| 数据写入、更新与删除 | 支持对已创建全文索引的表执行数据变更,包括 INSERT INTO ... ON DUPLICATE KEY UPDATE、REPLACE INTO、多表更新与删除,以及通过可更新视图操作数据。详情参见更新与删除数据。 |
| 全文搜索与相关性评分 | 支持通过 MATCH ... AGAINST 匹配文本并计算相关性评分。详情参见使用同步全文索引搜索。 |
| 混合搜索 | 支持通过 HYBRID_SEARCH 进行全文搜索,以及组合全文与向量搜索。详情参见异步全文索引与混合搜索。 |
同步与异步全文索引的具体差异请参见同步与异步索引对比。下面展开使用介绍。
通用说明与限制
本节介绍全文索引的基本使用条件,以及带同步或异步全文索引的表在旁路导入和 DDL 操作方面的支持范围。
基本条件
- 非分区表和分区表无论是否有主键,均可创建全文索引;异步全文索引仅支持在堆表(
ORGANIZATION = HEAP)上创建。 - 使用
CLUSTER BY的聚簇表不支持创建同步或异步全文索引。 - 支持
CHAR、VARCHAR以及文本大对象类型(TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT)的列。 - 仅支持创建局部(
LOCAL)全文索引。 - 创建全文索引时不可以指定
UNIQUE关键字。 - 如果要创建涉及多列的全文索引,则必须确保这些列具有相同的字符集。
- 同步和异步全文索引均不支持列存格式。
- 同一张表上,同一种索引类型不支持同时存在同步索引与异步索引。
旁路导入
带同步或异步全文索引的表仅支持在 FULL 模式下通过 INSERT INTO ... SELECT 执行全量旁路导入;非 FULL 模式或非 INSERT INTO ... SELECT 方式均不支持。
验证旁路导入是否生效时,应先在目标租户中手动执行以下语句,禁止在遇到不支持的场景时回退为普通导入,避免将普通导入成功误认为旁路导入成功:
ALTER SYSTEM SET direct_load_allow_fallback = FALSE;
该配置仅控制是否允许回退,不会启用旁路导入。执行导入时,仍需通过 Hint 或 default_load_mode 配置项指定旁路导入方式。参数说明请参见 direct_load_allow_fallback。
DDL 支持情况
含同步全文索引或异步全文索引的表对 DDL 操作的支持情况如下:
注意
对于标注 需要重建表则不支持 的操作,如果需要通过 Offline DDL 重建表,则无法在含同步全文索引的表上执行。
| 操作 | 同步全文索引 | 异步全文索引 |
|---|---|---|
调整已有列的顺序,如通过 CHANGE ... AFTER/FIRST 调整列位置 |
不支持 | 支持 |
修改非主键列的类型或精度,如 INT 改为 BIGINT、调整 DECIMAL 精度 |
需要重建表则不支持 | 支持 |
修改全文索引列的类型,如 VARCHAR 改为 TEXT |
需要重建表则不支持 | 支持,修改后仍须满足全文索引的列类型要求 |
| 转换表字符集、修改非主键列字符集 | 需要重建表则不支持 | 支持 |
新增自增列、添加 STORED 生成列 |
需要重建表则不支持 | 支持,仍须满足自增列、生成列的一般约束 |
| 删除非主键列、生成列 | 需要重建表则不支持 | 支持,仍须满足列依赖约束 |
| 组合执行多项操作,如同时修改列类型和调整列顺序 | 需要重建表则不支持 | 支持符合各项操作约束的组合 |
| 将非分区表改为分区表、修改分区规则 | 不支持 | 支持,包括 RANGE、LIST 分区场景 |
| 添加、删除或修改主键 | 不支持 | 不支持,受堆表自身限制 |
| 修改主键列类型,且需要重写数据 | 不支持 | 不支持,受堆表自身限制 |
ADD COLUMN GROUP,包括行存转列存、行列混存 |
不支持 | 不支持 |
TRUNCATE TABLE、DROP TABLE |
支持 | 支持 |
| 删除、清空分区及子分区 | 支持符合对应操作约束的场景 | 支持符合对应操作约束的场景 |
手动分区分裂,如 REORGANIZE PARTITION |
不支持 | 不支持 |
创建全文索引
创建全文索引需要根据数据实时性要求选择同步或异步索引,并根据文本语言和搜索需求选择分词器或文本分析器。以下介绍两类索引的区别、分词配置及创建方法。
分词器和文本分析器
OceanBase AI 数据库的全文索引功能支持多种内置分词器和文本分析器,帮助用户根据业务场景选择最优的文本分词策略。默认分词器为 Space 分词器,其他分词器需通过 WITH PARSER 参数显式指定。除常规分词器插件外,还可选用文本分析器(Analyzer)进行更完整的文本分析。
分词器列表:
- Space 分词器
- Basic English 分词器
- IK 分词器
- Ngram 分词器
- Analyzer 文本分析器
注意
Analyzer 文本分析器从 V4.6.2.1 版本开始支持。
配置方法示例:
在创建或修改表时,通过 CREATE TABLE/ALTER TABLE 语句在为表创建全文索引时,设置参数 WITH PARSER tokenizer_option,指定全文索引的分词器类型。更多分词器的属性参数设置参考 创建索引。
CREATE TABLE tbl2(id INT, name VARCHAR(18), doc TEXT,
FULLTEXT INDEX full_idx1_tbl2(name, doc)
WITH PARSER NGRAM
PARSER_PROPERTIES=(ngram_token_size=3));
-- 修改现有表的全文索引分词器
ALTER TABLE tbl2(id INT, name VARCHAR(18), doc TEXT,
FULLTEXT INDEX full_idx1_tbl2(name, doc)
WITH PARSER NGRAM
PARSER_PROPERTIES=(ngram_token_size=3)); -- Ngram示例
分词器选择策略
可先根据下表初步选择适合的分词器,再结合后文对各分词器的工作方式、适用场景和分词效果的说明,确定具体配置。
| 业务场景 | 推荐分词器/Analyzer | 理由 |
|---|---|---|
| 通用文本、英文、多语言混合 | standard Analyzer |
基于 UAX #29 规范识别词边界,并通过 Analyzer 统一小写,不额外做词干提取或停用词过滤。 |
| 英文文章、知识库 | english Analyzer |
支持小写转换、英文基础停词过滤和词干提取,适合希望不同词形也能命中的场景。 |
| 中文文章、知识库 | IK | 按中文词典分词。smart 偏向较粗粒度词语,max_word 产生更细的词项,有利于扩大召回,但需要评估查询性能和索引开销。 |
| 泰语文本搜索 | thai Analyzer |
支持泰语词边界切分、大小写转换、数字归一化及泰语基础停词过滤。 |
| 越南语文本搜索 | vietnamese Analyzer |
越南语,归一化大小写、全角字符及变音符号。 |
| 印尼语文本搜索 | indonesian Analyzer |
支持小写转换、印尼语基础停词过滤和词干提取。 |
| 马来语文本搜索 | malay Analyzer |
提供标准切词和小写转换。 |
| 日志或编码的模糊匹配 | Ngram / Ngram2 | 按连续字符生成词项;前者固定长度,后者支持长度范围。适合片段召回,但可能增加索引体积和无关命中。 |
| 基于空格和特殊符号的基础分词 | Space / Beng | 基于空格和特殊符号的基础分词。 |
Space 分词器(默认)
概念:
- 以空格、标点符号(如逗号、句号)或非字母数字字符(除下划线
_外)为分隔符拆分文本。 - 分词结果仅包含长度在
min_token_size(默认 3)到max_token_size(默认 84)之间的有效词元。 - 中文字符被视为单个字符处理。
适用场景:
- 英文等以空格分隔的语言(如 “apple watch series 9”)。
- 中文以人工添加分隔符的场景(如 “南京 长江大桥”)。
分词效果:
SELECT TOKENIZE ("南京市长江大桥有1千米长,详见www.XXX.COM, 邮箱xx@OB.COM,一平方公里也很小 hello-word h_name", 'space');
+-------------------------------------------------------------------------------------------------------------+
| tokenize ("南京市长江大桥有1千米长,详见www.XXX.COM, 邮箱xx@OB.COM,一平方公里也很小 hello-word h_name", 'space') |
+-------------------------------------------------------------------------------------------------------------+
|["详见www", "一平方公里也很小", "xxx", "南京市长江大桥有1千米长", "邮箱xx", "word", "hello”, "h_name"] |
+-------------------------------------------------------------------------------------------------------------+
可以看到,本示例中 Space 分词器将文本拆分为多个词元,其中空格、逗号、句号等符号作为分隔符,中文连续字符视为单词。
Basic English(Beng)分词器
概念:
- 与 Space 分词器类似,但不保留下划线
_,将其视为分隔符。 - 适用于英文短语分隔,但对无空格术语(如 “iPhone15”)切分效果有限。
适用场景:
- 英文文档的基础搜索(如日志、评论)。
分词效果:
SELECT TOKENIZE ("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'beng');
+-----------------------------------------------------------------------------------------------------------------------+
| tokenize ("南京市长江大桥有1千米长,详见WWW.XXX.COM,邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'beng') |
+-----------------------------------------------------------------------------------------------------------------------+
|["详见www", "一平方公里也很小", "xxx", "南京市长江大桥有1千米长", "邮箱xx", "word", "hello", "name"] |
+-----------------------------------------------------------------------------------------------------------------------+
本示例中下划线_被切分,与 Space 分词器的核心差异在于对_的处理。
Ngram 分词器
概念:
- 固定 n 值分词:默认
n=2,将连续非分隔符字符拆分为长度为n的子序列。 - 分隔符判定规则同 Space 分词器(保留
_和数字字母)。 - 不支持长度限制参数,输出所有可能的
n长度词元。
适用场景:
- 短文本模糊匹配(如用户 ID、订单号)。
- 需要固定长度特征提取的场景(如密码策略分析)。
分词效果:
SELECT TOKENIZE ("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'ngram');
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| tokenize ("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'ngram') |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|["邮箱", "ww", "大桥", “ob", "me", "里也", "or", "_n", "千米", "很小", "米长", "ll", "箱x", "公里", "见w", "co", "也很", "1千", "京市", "lo", "江大", "el", "rd", "一平", "方公", "he", "am", "南京", "h_", "市长", "wo", "xx", "长江", "有1", "na", "详见", "平方", "om", "桥有" |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
本示例中,Ngram 分词器以空格、逗号、句号等符号作为分隔符,对每段连续非分隔符字符生成所有长度为 2 的连续字符片段作为词元。该切分方式与语言无关,不按词义划分边界。例如,“南京市”会生成“南京”和“京市”两个词元。
Ngram2 分词器
概念:
- 支持动态 n 值范围:通过
min_ngram_size和max_ngram_size参数设置词元长度范围。 - 适用于需要多长度词元覆盖的场景。
适用场景: 同时需要多个固定长度词元的场景。
注意
用 ngram2 分词器时,需注意其内存占用较高,比如设置 min_ngram_size 和 max_ngram_size 参数范围较大时,会生成大量词元组合,可能导致资源消耗过大。
分词效果:
SELECT TOKENIZE ("南京市长江大桥1千米", 'ngram2', '[{"additional_args":[{"min_ngram_size": 4},{"max_ngram_size": 6}]}]');
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| tokenize("南京市长江大桥1千米", 'ngram2', '[{"additional_args":[{"min_ngram_size": 4},{"max_ngram_size": 6}]}]') |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| ["长江大桥", "大桥1千", "江大桥1千", "市长江大桥", "京市长江", "江大桥1", "南京市长", "市长江大", "大桥1千米", "江大桥1千米", "市长江大桥1", "长江大桥1", "南京市长江", "桥1千米", "南京市长江大", "长江大桥1千", "京市长江大桥", "京市长江大"] |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
本示例从原文的各个字符位置开始,依次截取长度为 4、5、6 个字符的片段。例如,从“南”开始可生成“南京市长”“南京市长江”“南京市长江大”,从“京”开始可生成“京市长江”等片段。
IK 分词器
概念:
- 基于开源工具 IK Analyzer 的中文分词器,支持两种模式:
- Smart 模式:优先输出长词,减少切分数量,每个字符只归属于一个词,如“南京市”不切分为“南京”“市”。
- Max Word 模式:输出所有可能的短词,会把同一个字符包含到不同的分词中, 尽可能多的提供词汇,如“南京市”切分为“南京”“市”。
- 自动识别英文单词、邮箱、URL(不含
://)、IP 地址等格式。
适用场景:
各种中文分词场景,如:
- 电商商品描述搜索(如“华为Mate60”精准匹配)。
- 社交媒体内容分析(如用户评论的关键词提取)。
分词效果:
Smart 模式:
SELECT TOKENIZE("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM 192.168.1.1 http://www.baidu.com hello-word hello_word", 'IK', '[{"additional_args":[{"ik_mode": "smart"}]}]');+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | tokenize("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM 192.168.1.1 http://www.baidu.com hello-word hello_word", 'IK', '[{"additional_args":[{"ik_mode": "smart"}]}]') | +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ |["邮箱", "hello_word", "192.168.1.1", "hello-word", "长江大桥", "www.baidu.com", "www.xxx.com", "xx@ob.com", "长", "http", "1千米", "详见", "南京市", "有"] | +---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+本示例 Smart 模式将“南京市长江大桥”切分为“南京市”和“长江大桥”,不再额外输出“南京”“长江”“大桥”等短词。同时,尝试将数词与量词合并,例如将“1千米”作为一个词输出。
max_word 模式:
SELECT TOKENIZE("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM", 'IK', '[{"additional_args":[{"ik_mode": "max_word"}]}]');+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | tokenize("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM", 'IK', '[{"additional_args":[{"ik_mode": "max_word"}]}]') | +-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+ |["米", "长江大桥", "市长", "千", "南京市", "南京", "千米", "xx", "www.xxx.com", "长", "www", "xx@ob.com", "长江", "ob", "XXX", "com", "详见", "1", "有", "大桥", "邮箱"] | +-----------------------------------------------------------------------------------------------------------------------------------------------------------------------+本示例同时输出“南京市”和“南京”、“长江大桥”和“长江”“大桥”,还会识别跨越词语边界的“市长”。
文本分析器(Analyzer)
注意
本功能从 V4.6.2.1 版本开始支持。
概念:
- 通过
WITH PARSER analyzer与 JSON 配置启用 Analyzer。 - Analyzer 由字符过滤器(CharFilter)、分词器(Tokenizer)和词元过滤器(TokenFilter)组成文本分析管道(pipeline),其中 Tokenizer 负责分词,但整体能力涵盖字符预处理与词元后处理,不限于单一分词器插件所能提供的功能。
- 当前版本支持以下内置类型:
standard:多语言通用。english:英语。thai:泰语。vietnamese:越南语。indonesian:印尼语。malay:马来语。
适用场景:
- 面向多语言、多脚本文本的复杂分析需求,能够适应不同语种和定制化的文本分析任务。
分词效果:
SELECT TOKENIZE("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'analyzer', '[{"analysis": {"analyzer": "standard"}}]');
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| tokenize("南京市长江大桥有1千米长,详见WWW.XXX.COM, 邮箱xx@OB.COM, 一平方公里也很小 hello-word h_name", 'analyzer', '[{"analysis": {"analyzer": "standard"}}]') |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| ["邮箱", "大", "千米", "很小", "见", "一", "桥", "1", "word", "hello", "平方公里", "www.xxx.com", "也", "ob.com", "h_name", "长", "详", "xx", "长江", "南京市", "有"] |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set
本示例使用 standard 文本分析器处理中英文混合文本。例如,“南京市长江大桥”被切分为“南京市”“长江”“大”“桥”,“hello-word”被切分为“hello”和“word”,WWW.XXX.COM 被转换为小写的 www.xxx.com。输出词元的顺序不保证与其在原文中的顺序一致。
在使用 Analyzer 创建全文索引时,可以使用 TOKENIZE 函数调试分词结果。
Analyzer 的详细操作指引请参见 创建索引 中的 使用文本分析器(Analyzer)创建全文索引 章节。
分词参数说明
以下分词参数适用于同步和异步全文索引,三种创建方式的配置方法相同。分词器的选择及分词效果请参见分词器和文本分析器。
WITH PARSER tokenizer_option:可选项,指定全文索引的分词器。取值如下:SPACE:默认值,表示按空格进行分词。可以指定以下属性:属性 取值范围 min_token_size [1, 16] max_token_size [10, 84] NGRAM:表示基于 N-Gram(中文)的分词方式。可以指定以下属性:属性 取值范围 ngram_token_size [1, 10] NGRAM2:表示将文本拆成min_ngram_size~max_ngram_size范围的连续字符。属性 取值范围 min_ngram_size [1, 16] max_ngram_size [1, 16] BENG:基于 Beng (基础英文)的分词方式。可以指定以下属性:属性 取值范围 min_token_size [1, 16] max_token_size [10, 84] IK:表示基于 IK(中文)的分词方式。当前仅支持utf-8字符集。可以指定以下属性:属性 取值范围 ik_mode smartmax_word
可以使用 TOKENIZE 函数查看文本按照指定的分词器及 Json 形式参数的分词结果。
PARSER_PROPERTIES[=](parser_properties_list):可选项,指定分词器的属性。取值如下:min_token_size:表示最小分词长度,默认值为 3,取值范围是 1 到 16。max_token_size:表示最大分词长度,默认值为 84,取值范围是 10 到 84。ngram_token_size:表示NGRAM的分词长度,只有NGRAM分词器有效,默认值为 2,取值范围是 1 到 10。ik_mode: 表示IK分词器的分词模式。取值如下:smart:默认值,表示词典中的词汇会被用来提高分词的准确性,词典中的词汇边界会被优先考虑,从而可能减少不必要的扩展。max_word:表示在词典中定义的词汇会被识别出来,但不会影响分词的最大化扩展。即使词典中有定义,max_word模式仍然会尝试将文本切分成更多的词汇。
同步与异步索引对比
| 对比项 | 同步全文索引 | 异步全文索引 |
|---|---|---|
| DDL 关键字 | FULLTEXT |
ASYNC FULLTEXT |
| 索引维护时机 | 写入表时同步维护 | 后台增量刷新,非实时写入索引 |
| 数据可见性 | 写入后即可搜索 | 最终一致,可能存在可见延迟 |
| 写入/搜索性能 | 高吞吐场景下可能成为性能瓶颈 | 以可见延迟换取更高的写入与搜索性能 |
| 适用场景 | 全文搜索/混合搜索 | 主要用于混合搜索 |
| 分词器 | WITH PARSER / PARSER_PROPERTIES |
与同步全文索引相同 |
| 表类型 | 均可 | 仅支持堆表 |
UPDATE 行为 |
按常规更新处理 | 转换为 DELETE + INSERT |
同步全文索引
可以使用 CREATE TABLE 语句、CREATE FULLTEXT INDEX 语句或 ALTER TABLE 语句创建同步全文索引。同步全文索引在写入表时同步维护索引,写入后即可被搜索;适合对实时可见性要求高的场景。若需提升写入与查询吞吐、且可接受索引可见延迟,请参见下文 异步全文索引。同步与异步的差异对照见 同步与异步索引对比。
注意事项
除上述通用说明与限制外,还需注意以下事项:
- 共享存储模式下,含同步全文索引的表不支持触发 Offline 重建的操作。各项 DDL 的支持情况请参见DDL 支持情况。
随表创建语法
在创建表时,通过 FULLTEXT INDEX 同时创建全文索引。以下示例分别展示使用默认分词器和指定分词器的方式。
创建表
tbl1,同时创建全文索引full_idx1_tbl1。CREATE TABLE tbl1(id INT, name VARCHAR(18), date DATE, PRIMARY KEY (id), FULLTEXT INDEX full_idx1_tbl1(name));创建表
tbl2,同时创建全文索引full_idx1_tbl2,指定全文索引的分词器为NGRAM,同时通过PARSER_PROPERTIES设置分词器属性。CREATE TABLE tbl2(id INT, name VARCHAR(18), doc TEXT, FULLTEXT INDEX full_idx1_tbl2(name, doc) WITH PARSER NGRAM PARSER_PROPERTIES=(ngram_token_size=3));
完整语法请参见 CREATE TABLE,分词参数请参见分词参数说明。
后建索引语法
对于已有的表,可以使用 CREATE FULLTEXT INDEX 创建索引,也可以通过 ALTER TABLE 添加索引。
CREATE FULLTEXT INDEX 语法
创建 tbl3 表后,再创建全文索引 ft_idx1_tbl3。
创建表
tbl3。CREATE TABLE tbl3(col1 INT, col2 VARCHAR(4096));在表
tbl3上创建全文索引ft_idx1_tbl3,指定全文索引的分词器为IK,同时通过PARSER_PROPERTIES设置分词器属性。CREATE FULLTEXT INDEX ft_idx1_tbl3 ON tbl3(col2) WITH PARSER IK PARSER_PROPERTIES=(ik_mode='max_word');
完整语法请参见 CREATE INDEX。
ALTER TABLE 语法
创建表 tbl4 后,然后再添加全文索引 ft_idx1_tbl4。
创建表
tbl4。CREATE TABLE tbl4(col1 INT, col2 TEXT);为表
tbl4添加全文索引ft_idx1_tbl4,指定全文索引的分词器为BENG,同时通过PARSER_PROPERTIES设置分词器属性。ALTER TABLE tbl4 ADD FULLTEXT INDEX ft_idx1_tbl4(col2) WITH PARSER BENG PARSER_PROPERTIES=(min_token_size=2, max_token_size=64);
完整语法请参见 ALTER TABLE。
异步全文索引
说明
异步全文索引从 V4.6.2.1 版本开始支持。
注意
异步全文索引在当前版本为实验特性,不支持生产环境使用。
异步全文索引(ASYNC FULLTEXT)将索引维护改为后台增量刷新,以一定的可见延迟换取写入与查询性能的提升。当前主要用于混合搜索场景;查询保证最终一致性,不保证强一致与实时可见。更多差异请参见同步与异步索引对比。
注意事项
除上述通用说明与限制外,还需注意以下事项:
- 仅支持堆表(
ORGANIZATION = HEAP)。 - 共享存储模式下,含异步全文索引的表支持部分 Offline DDL 操作,具体请参见DDL 支持情况。
- 异步索引功能需要手动开启。
- 后台增量刷新,仅保证最终一致性,数据可能延迟可见。
- 当前支持异步全文索引与异步搜索索引;异步向量索引、异步普通索引暂不支持。
- 对包含异步索引的表,
UPDATE会转换为DELETE+INSERT。 - 异步索引支持自动刷新、自动合并和手动合并,并可通过
REFRESH_ON_ERROR配置刷新失败时的处理方式。详细说明请参见维护全文索引(仅异步)。
开启异步索引功能
异步索引功能默认关闭,需通过 _enable_async_index 配置项开启:
ALTER SYSTEM SET _enable_async_index = true;
随表创建与后建
创建异步全文索引需要在现有全文索引语法前增加 ASYNC 关键字,支持随表创建与后建。示例如下:
CREATE TABLE tbl5 (
col1 INT,
col2 TEXT,
ASYNC FULLTEXT INDEX ft_idx1_tbl5(col2)
WITH PARSER BENG
PARSER_PROPERTIES=(min_token_size=2, max_token_size=64)
) ORGANIZATION HEAP;
CREATE ASYNC FULLTEXT INDEX ft_idx1_tbl5 ON tbl5(col2)
WITH PARSER BENG
PARSER_PROPERTIES=(min_token_size=2, max_token_size=64);
端到端示例见下文 异步全文索引与混合搜索。
更新与删除数据
对于已创建包含全文索引的表,支持 INSERT INTO ON DUPLICATE KEY、REPLACE INTO、多表的更新/删除、以及可更新视图等复杂 DML 操作。
创建示例表和示例视图:
CREATE TABLE tbl1 (a int PRIMARY KEY, b text, FULLTEXT INDEX(b));
CREATE TABLE tbl2 (a int PRIMARY KEY, b text);
CREATE VIEW fts_view AS SELECT * FROM tbl1;
INSERT INTO ON DUPLICATE KEY 操作示例如下:
INSERT INTO articles VALUES ('OceanBase AI', 'Fulltext search index support insert into on duplicate key')
ON DUPLICATE KEY UPDATE title = 'OceanBase AI 4.6.3';
REPLACE INTO 操作示例如下:
REPLACE INTO articles(title, context) VALUES ('Oceanbase AI 4.6.3', 'Fulltext search index support replace');
多表的更新/删除示例如下:
UPDATE tbl1 JOIN tbl2 ON tbl1.a = tbl2.a
SET tbl1.b = 'dddd', tbl2.b = 'eeee';
UPDATE tbl1 JOIN tbl2 ON tbl1.a = tbl2.a SET tbl1.b = 'dddd';
UPDATE tbl1 JOIN tbl2 ON tbl1.a = tbl2.a SET tbl2.b = tbl1.b;
DELETE tbl1, tbl2 FROM tbl1 JOIN tbl2 ON tbl1.a = tbl2.a;
DELETE tbl1 FROM tbl1 JOIN tbl2 ON tbl1.a = tbl2.a;
DELETE tbl1 FROM tbl1 JOIN tbl2 ON tbl1.a = tbl2.a;
可更新视图 DML 示例如下:
INSERT INTO fts_view VALUES(3, 'cccc'), (4, 'dddd');
UPDATE fts_view SET b = 'dddd';
UPDATE fts_view JOIN normal ON fts_view.a = tbl2.a
SET fts_view.b = 'dddd', tbl2.b = 'eeee';
DELETE FROM fts_view WHERE b = 'dddd';
DELETE tbl1 FROM fts_view JOIN tbl1 ON fts_view.a = tbl1.a AND 1 = 0;
搜索数据
以下分别介绍如何使用同步全文索引和异步全文索引搜索数据。
使用同步全文索引搜索
在本示例中会定义一个表以保存文档资料,并为文档设置全文索引。利用全文索引可快速匹配包含期望关键字的文档,并按相似性从高到低排序。
创建表。
CREATE TABLE Articles ( id INT AUTO_INCREMENT, title VARCHAR(255) , content TEXT , PRIMARY KEY (id), FULLTEXT ft1 (content) WITH PARSER SPACE );插入数据。
INSERT INTO Articles (title, content) VALUES ('OceanBase AI 数据库overview', 'OceanBase AI 数据库is an AI-native search database. It unifies relational, vector, text, JSON and GIS in a single engine, enabling hybrid search and in-database AI workflows.'), ('Full-Text Search in Databases', 'Full-text search allows for searching within the text of documents stored in a database. It is particularly useful for finding specific information quickly.'), ('Advantages of Using OceanBase AI 数据库', 'OceanBase AI 数据库offers several advantages such as high performance, reliability, and ease of use. ');查询表。
select * from Articles;+----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | id | title | content | +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | 1 | OceanBase AI 数据库overview | OceanBase AI 数据库is an AI-native search database. It unifies relational, vector, text, JSON and GIS in a single engine, enabling hybrid search and in-database AI workflows. | | 2 | Full-Text Search in Databases | Full-text search allows for searching within the text of documents stored in a database. It is particularly useful for finding specific information quickly. | | 3 | Advantages of Using OceanBase AI 数据库| OceanBase AI 数据库offers several advantages such as high performance, reliability, and ease of use. | +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 3 rows in set (0.002 sec)查询匹配的文档。
select id,title, content,match(content) against('OceanBase AI 数据库database') score from Articles where match(content) against('OceanBase AI 数据库database');+----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------+ | id | title | content | score | +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------+ | 1 | OceanBase AI 数据库overview | OceanBase AI 数据库is an AI-native search database. It unifies relational, vector, text, JSON and GIS in a single engine, enabling hybrid search and in-database AI workflows. | 0.4570384669555348 | | 3 | Advantages of Using OceanBase AI 数据库| OceanBase AI 数据库offers several advantages such as high performance, reliability, and ease of use. | 0.240174672489083 | | 2 | Full-Text Search in Databases | Full-text search allows for searching within the text of documents stored in a database. It is particularly useful for finding specific information quickly. | 0.20072992700729927 | +----+-------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------+ 3 rows in set (0.003 sec)利用 EXPLAIN 命令,查看查询计划并分析其性能。
explain select id,title, content,match(content) against('OceanBase AI 数据库database') score from Articles where match(content) against('OceanBase AI 数据库database');+-------------------------------------------------------------------------------------------------------------------------------------------------+ | Query Plan | +-------------------------------------------------------------------------------------------------------------------------------------------------+ | ============================================================== | | |ID|OPERATOR |NAME |EST.ROWS|EST.TIME(us)| | | -------------------------------------------------------------- | | |0 |SORT | |4 |139 | | | |1 |└─TEXT RETRIEVAL SCAN|articles(ft1)|4 |138 | | | ============================================================== | | Outputs & filters: | | ------------------------------------- | | 0 - output([articles.id], [articles.title], [articles.content], [MATCH(articles.content) AGAINST('OceanBase AI 数据库database')]), filter(nil), rowset=16 | | sort_keys([MATCH(articles.content) AGAINST('OceanBase AI 数据库database'), DESC]) | | 1 - output([articles.id], [articles.content], [articles.title], [MATCH(articles.content) AGAINST('OceanBase AI 数据库database')]), filter(nil), rowset=16 | | access([articles.id], [articles.content], [articles.title]), partitions(p0) | | is_index_back=true, is_global_index=false, | | calc_relevance=true, match_expr(MATCH(articles.content) AGAINST('OceanBase AI 数据库database')), | | pushdown_match_filter(MATCH(articles.content) AGAINST('OceanBase AI 数据库database')) | +-------------------------------------------------------------------------------------------------------------------------------------------------+ 15 rows in set (0.002 sec)
异步全文索引与混合搜索
本示例创建带异步全文索引与向量索引的堆表,并使用 HYBRID_SEARCH 进行全文搜索及全文与向量混合搜索。dsl_string 语法与同步全文索引场景一致。更多混合搜索场景请参见 混合搜索。
创建异步全文索引。
随表建后建CREATE TABLE doc_async ( c1 INT, vector VECTOR(3), content VARCHAR(255), VECTOR INDEX idx_vec(vector) WITH (distance=l2, type=hnsw_sq, lib=vsag), ASYNC FULLTEXT INDEX idx_content(content) ) ORGANIZATION HEAP;CREATE TABLE doc_async ( c1 INT, vector VECTOR(3), content VARCHAR(255), VECTOR INDEX idx_vec(vector) WITH (distance=l2, type=hnsw_sq, lib=vsag) ) ORGANIZATION HEAP; ALTER TABLE doc_async ADD ASYNC FULLTEXT INDEX idx_content(content); -- 或 CREATE ASYNC FULLTEXT INDEX idx_content ON doc_async(content);插入数据。
INSERT INTO doc_async VALUES (1, '[1,2,3]', 'oceanbase Elasticsearch database'), (2, '[1,2,1]', 'oceanbase mysql database'), (3, '[1,1,1]', 'oceanbase oracle database');全文搜索(走异步全文索引)。
SELECT c1, content FROM HYBRID_SEARCH( TABLE doc_async, '{ "query": { "match": {"content": "oceanbase mysql"} } }' );全文与向量混合搜索。
SELECT c1, content FROM HYBRID_SEARCH( TABLE doc_async, '{ "query": { "match": {"content": "oceanbase mysql"} }, "knn": { "field": "vector", "k": 3, "query_vector": "[1,2,3]" }, "rank": { "rrf": { "rank_constant": 60 } } }' );
维护全文索引(仅异步)
自动刷新与合并
异步索引的自动刷新与合并通过表级配置设置。当前支持以下配置项:
| 配置项 | 类型 | 取值范围 | 默认值 | 含义 |
|---|---|---|---|---|
ASYNC_REFRESH_INTERVAL |
INT(秒) | [1, 60] |
5 |
控制异步索引后台增量刷新服务的扫描周期。每隔该间隔检查表中是否有新的增量数据,若有则触发增量刷新任务。该参数从 V4.6.2.1 版本开始支持。 |
REFRESH_ON_ERROR |
枚举 | SKIP / ABORT |
ABORT |
控制增量刷新遇到单行异常数据时的处理策略。ABORT 表示整次刷新失败并阻塞后续增量,适合对数据完整性要求极高的场景;SKIP 表示跳过异常行并继续刷新,不阻塞其他行及其他索引,该行不会写入索引。注意:资源或环境类错误即使在 SKIP 模式下也不会跳过。该参数从 V4.6.2.1 版本开始支持。 |
DELETE_PURGE_THRESHOLD |
INT | [20, 50] |
33 |
控制异步索引中已删除数据的清理阈值。当已删除行数占总行数的比例超过该阈值时,触发合并以清理已删除的数据。 |
MERGE_SEGMENT_THRESHOLD |
INT | [2, 48] |
10 |
控制异步索引合并策略中的段(Segment)数阈值。当增量刷新产生的 Segment 数量超过该值时,触发合并,将多个小 Segment 合并为较大的 Segment。 |
注意
随表创建异步索引时,向表中写入数据不会校验这些数据能否写入该索引。若存在无法写入索引的行,在默认 ABORT 策略下会卡住增量刷新,导致后续增量也无法通过该索引查询。此时可将 REFRESH_ON_ERROR 设为 SKIP,以跳过异常行并继续刷新。
-- 随表建设置刷新周期
CREATE TABLE doc_async (
c1 INT,
content VARCHAR(255),
ASYNC FULLTEXT INDEX idx_content(content)
) ORGANIZATION HEAP ASYNC_INDEX_PARAMS = 'ASYNC_REFRESH_INTERVAL=10';
-- 只修改刷新间隔,其他配置保持不变
ALTER TABLE doc_async SET ASYNC_INDEX_PARAMS = 'ASYNC_REFRESH_INTERVAL=10';
-- 跳过增量刷新中的异常行
ALTER TABLE doc_async SET ASYNC_INDEX_PARAMS = 'REFRESH_ON_ERROR=SKIP';
-- 同时修改多个配置
ALTER TABLE doc_async SET ASYNC_INDEX_PARAMS = 'ASYNC_REFRESH_INTERVAL=10, REFRESH_ON_ERROR=SKIP, DELETE_PURGE_THRESHOLD=30, MERGE_SEGMENT_THRESHOLD=8';
完整语法说明请参见 ALTER TABLE。
手动合并
除按 MERGE_SEGMENT_THRESHOLD 自动合并外,还可通过 DBMS_ASYNC_INDEX 系统包手动触发合并:
-- 手动触发合并
CALL DBMS_ASYNC_INDEX.FORCEMERGE('doc_async');
详细语法与参数请参见 DBMS_ASYNC_INDEX 概述。
适用场景
全文索引适用于需要在大量文本数据中进行关键字搜索,以及根据文本相关性对结果进行排序和 Top-k 召回的场景,例如搜索文档、文章、商品描述和业务记录。
当文本搜索需要扫描大量数据并逐行进行字符串匹配时,查询开销会随数据规模和行数增加。全文索引通过对文本进行分词,并基于词元进行倒排索引,为全文搜索查询降低扫描和文本匹配开销,并支持文本相关性计算与排序。查询也可以结合其他结构化条件,缩小搜索范围。
典型场景包括:
- 企业内部知识库系统:按关键词搜索项目文档、会议记录、调研报告等文本数据,并结合文档分类、产品版本等条件筛选结果。
- 图书与数字内容平台:搜索书籍、论文等内容的标题、摘要和正文,帮助用户搜索包含指定关键词的数据。
- 新闻与社区内容搜索:搜索新闻、帖子和评论中包含指定关键词的内容,结合发布时间、栏目等条件筛选,并按文本相关性排序。
- 法律文书搜索:按法律术语或业务关键词搜索合同、判决书和法规条文,辅助定位需要查阅的文书。
- 病历与医学文献搜索:在病历文本、医学论文和参考资料中搜索疾病名称、药品名称等关键词,提高资料查阅效率。
使用全文索引时,可以根据文本语言和业务查询需求选择合适的分词器或文本分析器,并评估搜索效果、查询性能、索引存储及写入维护成本。