---
title: "TOKENIZE - OceanBase 数据库 V4.5.0 | OceanBase 文档中心"
description: "TOKENIZE 描述 该函数用于将文本按照指定的分词器及 Json 形式的参数，输出分词结果。 语法 TOKENIZE('text', ['parser'], ['behavior_ctrl']) 参数解释 字段 说明 text 表示文本。支持 TEXT 、 CHAR 和 VARCHAR 类型的数据。 parser…"
---
切换语言

- 中文站 - 简体中文
- International - English
- 日本站 - 日本語

文档反馈![](https://mdn.alipayobjects.com/huamei_22khvb/afts/img/A*P8CuR4UJ_FkAAAAAAAAAAAAADiGDAQ/original) OceanBase 数据库分布式版 - V 4.5.0

# TOKENIZE

更新时间：2026-04-03 14:15:01

[编辑](https://github.com/oceanbase/oceanbase-doc/edit/V4.5.0/zh-CN/700.reference/500.sql-reference/100.sql-syntax/200.common-tenant-of-mysql-mode/400.functions-of-mysql-mode/960.text-processing-functions-of-mysql-mode/200.tokenize-of-mysql-mode.md)  

## 描述

该函数用于将文本按照指定的分词器及 Json 形式的参数，输出分词结果。

## 语法

```sql
TOKENIZE('text', ['parser'], ['behavior_ctrl'])

```

## 参数解释

| **字段** | **说明** |
| --- | --- |
| text | 表示文本。支持 `TEXT`、`CHAR` 和 `VARCHAR` 类型的数据。 |
| parser | 表示分词器名称。支持 `BENG`（基础英文）、`NGRAM`（中文）、`SPACE`（空格）、`IK`（中文）等分词器。   #### 说明    对于 OceanBase 数据库 V4.3.5 版本，从 V4.3.5 BP1 版本开始支持 `IK` 分词器。 |
| behavior_ctrl | JSON 形式的参数指定，可选配置项如下：   - `stopwords`：停词表，如果无，按全局默认配置，应用全局停词；如果为空，则为空。 - `case`：如果无，则按系统默认行为处理；如果有，按 upper/lower 进行处理。 - `output`：有以下格式：      - `default`：输出仅包含词元的 `json array, ["hello", "world", "english"]`。     - `all`：包含 `doc_len` 和词频的 `json object`，如 `{"doc_len":3, "tokens":["i":1, "love":1, "china":1]}`。     - `additional-args`：["token_size:2"]} 特定分词器的参数，如`ngram`。 |

## 示例

使用 `TOKENIZE` 函数来将字符串 `I Love China` 分解成单词，并使用 `beng` 作为分隔符。然后使用 `JSON` 格式的参数来设置输出选项。

```sql
SELECT TOKENIZE('I Love China','beng', '[{"output": "all"}]');

```

返回结果如下：

```shell
+--------------------------------------------------------+
| TOKENIZE('I Love China','beng', '[{"output": "all"}]') |
+--------------------------------------------------------+
| {"tokens": [{"love": 1}, {"china": 1}], "doc_len": 2}  |
+--------------------------------------------------------+
1 row in set

```

 上一篇 下一篇 ![有帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*y6ocSqN8cqsAAAAAAAAAAAAAARQnAQ)![无帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*BG9IQJyLHF8AAAAAAAAAAAAAARQnAQ)![反馈](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*eTWdQKCRKHwAAAAAAAAAAAAAARQnAQ)[AI](https://www.oceanbase.com/obi) 咨询热线