使用 AI 模型 - OB Cloud 云数据库 master

使用 AI 模型

更新时间：2026-06-16 14:22:43

在 AI 服务的模型页面中，您可以浏览并管理模型市场、配置默认模型、管理数据源模型注册，并查看模型的 API 调用示例和 SQL 调用示例。通过这些能力，您可以让应用程序直接调用模型，也可以在数据库中通过 AI Function 使用模型能力。

功能说明

AI 模型页面提供以下能力：

浏览模型市场：查看当前可用的模型清单，按供应商、类型筛选模型，并启用或停用指定模型。
对比模型性能：对比不同模型的 7 日性能趋势和 24 小时可用率，辅助选型。
配置默认模型：在 基本配置 页签中，为文本生成、文本嵌入、文本重排序、多模态嵌入和多模态重排序等场景选择默认模型。
数据源模型注册管理：开启后，系统会自动处理数据库 AI 模型注册相关能力，便于后续在数据库侧直接调用模型。
查看模型调用示例：支持生成 API 调用示例和 SQL 调用示例，帮助您快速完成接入和验证。
速率限制：在 限速限额 页签中，为不同模型类型设置 TPM 和 RPM 上限。

前提条件

您已开通并进入 AI 服务页面。
您已创建可用的 API Key，具体操作参见管理 AI API Key。
如果需要在数据库中通过 SQL 调用模型，使用有 ACCESS AI MODEL 权限的数据库账号登录数据库调用 AI 模型。更多内容参见开启 AI Function 内置模型。

模型市场

基本配置

限速限额

模型市场

进入 AI 服务的模型页面，默认展示 模型市场 页签。

在页签顶部，您可以使用以下能力筛选和查看模型：

操作	说明
搜索模型或供应商	按模型名称或供应商名称搜索。
供应商	按模型供应商筛选，例如火山引擎、阿里云百炼。
类型	按模型能力类型筛选，例如文本生成、视频生成、图像生成（仅异步）。
对比模型性能	打开模型性能对比面板，通过散点图对比所选模型在平均吞吐（tokens/s）与综合评分（0～5）两个维度上的表现。可按供应商、模型筛选，不同颜色区分供应商，便于权衡输出速度与综合能力进行选型。

模型以卡片形式展示，每张卡片通常包含以下信息：

信息项	说明
模型名称	模型的唯一标识，调用时需指定该名称。
能力类型	模型支持的任务类型，例如文本生成、视频生成、图像生成（仅异步）。
供应商	模型所属的云服务供应商。
7 日性能	近 7 日的性能趋势图。
24h 可用率	近 24 小时的可用率指标。
综合评分	模型的综合性能评分（0～5），基于准确性、响应速度、稳定性等多维度评估。
启用开关	控制当前项目是否启用该模型。关闭后，该模型将不可被调用。

模型市场中当前支持的模型类型包括但不限于：

类型	说明
文本生成	用于对话生成、内容创作、问答、代码生成等场景。
视频生成	用于文生视频、图生视频、视频编辑等场景。
图像生成（仅异步）	用于图像生成和图像编辑场景，仅支持异步调用。

各模型的详细说明，请参见内置模型列表。

基本配置

在模型页面中，切换到 基本配置 页签。

在 基础模型 区域，按需为以下任务选择默认模型，详情请参见内置模型列表。

默认模型	说明
文本生成	用于对话生成、内容创作、问答等场景。
文本嵌入	用于将文本转换为向量，适用于语义检索、相似度计算等场景。
文本重排序	用于对召回结果进行相关性重排，提升检索结果质量。
多模态嵌入	用于将图片、文本等多模态内容转换为向量，适用于跨模态检索等场景。
多模态重排序	用于对多模态召回结果进行重排序，提升多模态检索效果。

保存配置后，后续调用可优先使用您设置的默认模型。
模型调用增强能力：
- 自动路由策略：可根据请求上下文、模型能力以及预设业务规则，对请求进行动态路由与负载分配，在保障服务质量的同时，兼顾成本、时延与稳定性。
- 回退到默认模型：开启后，当指定模型不可用、调用异常或相关配置发生变化时，系统可自动回退到默认模型，提升调用连续性。
您可以在 模型供应商 区域查看当前可用的基础模型供应商信息。页面通常以卡片形式展示供应商名称、模型来源和模型数量等内容。

限速限额

在模型页面中切换到 限速限额 页签，可查看并修改各模型类型的速率限制。

项目管理员和项目所有者可以为当前项目设置模型速率限制。模型速率上限取决于组织级速率限制，如需更高配额，请联系组织管理员提升组织速率限制。

各模型类型的默认速率限制如下：

模型类型	每分钟 Token 数（TPM）	每分钟请求数（RPM）
文本生成	100,000	10
文本嵌入	100,000	10
文本重排序	100,000	10
多模态嵌入	100,000	10
多模态重排序	100,000	10

修改速率限制

您可以对各模型类型的速率限制进行修改，操作步骤如下：

在 限速限额 页签的速率限制列表中，找到需要修改的模型类型。
单击对应行操作列的 ···，在弹窗中调整 每分钟 Token 数（TPM） 和 每分钟请求数（RPM） 的值。修改值不能超过组织级速率限制的上限。
单击对勾图标，完成修改。

数据源模型注册管理

数据源模型注册管理 用于控制数据库侧模型注册相关能力。开启后，系统会自动处理数据库注册模型所需能力；关闭后，您仍可手动生成 SQL 并在数据库侧完成注册。

如果您的主要使用场景是通过 SQL 和 AI Function 调用模型，建议开启该选项，以简化数据库接入流程。

操作步骤

在模型页面右上角，单击 数据源模型注册管理。
在弹窗中完成以下配置：
1. 选择实例：仅 V4.4.2 及以上版本的实例支持。选择需要注册 AI 模型的目标实例。
2. 选择租户：选择目标实例下的租户。
3. 在 AI Function 可调用的模型 区域，选择模型来源：
  - 默认模型：直接选择当前已经配置好的默认模型。
  - 自定义模型：根据业务需要，从模型列表中勾选指定模型。
4. 选择 API Key：选择用于身份验证的 API Key。如需新建 API Key，可单击 创建 API Key。
单击 生成 SQL，获取可用于注册 AI 模型的 SQL 语句。

实际调用时，需使用有 ACCESS AI MODEL 权限的数据库账号登录数据库调用 AI 模型。

生成后的 SQL 可用于在目标数据库中完成模型注册。

查看模型调用示例

在模型页面右上角单击 模型调用示例，可查看 API 和 SQL 两类模型调用示例。

API 调用模型

在 API 调用模型 页签中，页面会展示通过 HTTP 接口调用模型的示例。流程如下：

创建用于身份验证的 API Key。
使用 API Key 通过 HTTP 请求调用模型。

更多内容请参见 AI API 列表。

 curl -X POST https://ai-api-cn.oceanbase.com/api/v1/chat/completions \
    -H "Authorization: Bearer YOUR_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{"model": "qwen-flash", "messages": [{"role": "user", "content": "Hello"}]}'

SQL 调用模型

在 SQL 调用模型 页签中，页面会展示通过 AI Function 在数据库内调用模型的示例，您可以通过类似如下方式在 SQL 中调用模型：

SELECT AI_COMPLETE("ob_complete","How are you") AS ans;
SELECT AI_EMBEDDING("ob_embed","I am OceanBase Cloud AI") AS embedding;
SELECT AI_RERANK("ob_rerank","Apple",["apple","banana","fruit","vegetable"]) AS rerank_result;

限速限额

项目管理员和项目所有者可以为当前项目设置模型限速限额。项目限速上限取决于组织级限速限额，如需更高配额，请联系组织管理员提升组织限速限额。

限速限额说明

组织模型速率上限将作为最高限制，应用于组织下所有项目。
API 使用受到每分钟 Token（TPM）和每分钟请求数（RPM）的限制。如果某一分钟内的 Token 或请求数超过限制，则该分钟内的后续请求将被限制，以确保资源使用的公平性和系统的稳定性。

各模型类型的默认限速限额如下：

模型类型	每月额度（M Tokens）	每分钟 Token（TPM）	每分钟请求数（RPM）
文本生成	1,000,000,000	100,000	10
文本嵌入	1,000,000,000	100,000	10
文本重排序	1,000,000,000	100,000	10
多模态嵌入	1,000,000,000	100,000	10
多模态重排序	1,000,000,000	100,000	10
全模态	1,000,000,000	100,000	10
图片生成	-	-	10
视频生成	-	-	10

修改限速限额

您可以对各模型类型的限速限额进行修改，操作步骤如下：

在模型页面中切换到 限速限额 页签，在列表中找到需要修改的模型类型。
单击对应行操作列的 ···，在弹窗中调整 每月额度（M Tokens）、每分钟 Token（TPM） 和 每分钟请求数（RPM） 的值。修改值不能超过组织级限速限额的上限。
单击对勾图标，完成修改。