添加模型

当系统内置模型无法满足您的需求时，您可手动添加所需模型。

前提条件

• 请确保当前登录 OCP 的用户为 ADMIN 角色。
• 已获取目标模型厂商的 Base URL 地址及 API Key。

注意事项

• 目前 OCP 仅支持兼容 OpenAI API 格式的模型，且模型的 max_tokens 建议不小于 3.0w。
• 为已有厂商添加模型时，该厂商的模型状态需为 已连接。

操作步骤

1. 登录 OCP。

2. 单击左导航栏 系统管理 > 外部集成，默认进入 大模型 页面。

3. 在 模型厂商 模块，单击 添加。

4. 在右侧面板中，填写模型信息。

   参数	说明
   大模型厂商	选择大模型厂商类型，支持 已有厂商 和 自定义 两种。 已有厂商：为系统已有的大模型厂商单独添加一个模型。 自定义：添加其它大模型厂商下的模型。
   厂商名称	当 大模型厂商 选择 已有厂商 时，请选择具体大模型厂商。 当 大模型厂商 选择 自定义 时，请输入大模型厂商名称，长度为 2 ~ 32 个字符。 说明 当输入的厂商名称已在 OCP 中存在时，新增的模型将与该厂商下的模型进行聚合。
   模型类型	根据使用场景，选择具体的模型类型。 聊天：通过在大规模文本数据上进行预训练，学习语言的规律和模式，获得通用语言理解能力和生成能力的模型。 嵌入：模型专注于将文本转换为固定长度的向量展示，向量保留数据的语义信息，便于后续的相似度计算、分类等任务。 Rerank：用于对初步检索结果进行重新排序，以提高检索系统的精度。这些模型通常结合上下文信息和用户意图，对初步检索到的结果进行排序优化，提供更具关联性的结果。 说明 仅支持添加通义千问大模型厂商的 Rerank 模型。
   模型名称	请输入模型名称。具有如下要求： 请填写大模型厂商已实际存在的模型名称。 同一大模型厂商下，模型名称需保持唯一性。 长度为 2 ~ 32 个字符。
   访问地址	当 大模型厂商 选择 自定义 时填写。请输入大模型调用的 Base URL 地址，如 https://api.deepseek.com/v1。
   API Key	当 大模型厂商 选择 自定义 时填写。请输入大模型调用的 SK（AccessKey Secret） 信息，默认掩码展示，支持查看明文。 访问地址 及 API Key 配置完成后，单击 测试，校验所填信息是否可以连通。
   备注	为模型补充额外说明。

5. 单击 添加。

6. 单击对话框中的 确定，添加后该模型将在原厂商卡片中展示。