创建 AI 集群 - 云平台 OCP V4.5.0

OceanBase Database AI 是存算分离架构的新一代分布式数据库，专为 AI 时代工作负载打造。AI 集群以对象存储（如 S3）作为数据持久化的主要介质，计算节点仅保留本地缓存盘，实现存算分离，具备弹性扩缩容、低成本存储等优势。

本文将为您介绍如何创建 AI 集群。

说明

OCP 还支持创建其他类型的集群：

创建分布式集群：企业级原生分布式数据库架构，具备金融级高可用以及平滑扩缩容能力。
创建集中式：基于集中式分布式一体化架构，适用于中小规模业务场景。

背景信息

AI 集群采用存算分离架构，在创建之前需要提前准备好以下依赖组件：

对象存储：AI 集群的数据持久化介质，用于存储所有业务数据。需提前在 OCP 的 系统管理 > 外部集成 中创建对象存储配置，详情请参见对象存储概述。
Logservice 集群：为 AI 集群提供日志服务能力，与 AI 集群为一对一关系。需提前创建，详情请参见新建 Logservice 集群。

与 Shared-Nothing 分布式集群对比

AI 集群采用共享存储（Shared Storage）架构，与传统的 Shared-Nothing 分布式集群的主要区别如下：

数据存储：基线数据和元数据保存在对象存储上，而非本地数据盘。本地磁盘仅作为缓存盘使用，用于缓存热点数据。
对象存储：创建集群时需指定对象存储的连接信息（如 Bucket 名称、Endpoint、访问密钥等），内核在 Bootstrap 阶段将对象存储信息注入集群。
缓存盘管理：通过 datafile_size 和 datafile_disk_percentage 参数控制本地缓存盘空间，而非传统模式下的数据文件大小。
租户资源：创建租户时新增 DATA_DISK_SIZE（缓存盘空间）、MAX_NET_BANDWIDTH（最大网络带宽）等字段，用于在共享存储模式下分配租户缓存空间。

内存规划

AI 集群与 Logservice 集群部署在同一台机器上时（混部场景），需提前规划两者的内存使用，避免出现内存不足的情况。建议按如下方式配置：

Logservice 集群：在创建 Logservice 集群时，需设置 memory_limit 参数，限制其内存使用。建议根据日志量大小和业务需求，将 Logservice 的内存限制在合理范围内。
AI 集群：在创建 AI 集群时，同样需设置 memory_limit 参数，限制其内存使用。根据业务负载和并发需求，合理分配 AI 集群的内存资源。

前提条件

当前登录 OCP 的用户为 ADMIN 角色或 ORG_ADMIN 角色。
已准备好可用的对象存储服务（如阿里云 OSS、AWS S3、腾讯云 COS、华为云 OBS 等），并获取到对应的访问凭证。
完成配置对象存储，对象存储服务需满足以下条件，详情参见创建对象存储配置。：
- 已获取访问对象存储的 AccessKey ID 和 AccessKey Secret。
- 已创建 Bucket，且 Bucket 可正常访问。
- 已获取对象存储的 Endpoint 地址。
完成创建 Logservice 集群，详情参见创建 Logservice 集群。
（可选）如您创建的 AI 集群需通过 OBProxy 访问，则需当前 OCP 中已存在可用的 OBProxy 集群，您可参考如下链接新增 OBProxy 集群。
- 创建 OBProxy 集群
- 接管 OBProxy

操作步骤

进入创建集群页面

登录 OCP 后，在左侧导航栏单击集群，进入集群总览页面。根据实际业务场景，找到新建集群的入口。
1. 如果您没有可管理的集群，系统会在 集群列表 页签中提示您新建集群，直接在提示信息中单击 创建集群 。
2. 如果您已经有可管理的集群，则在 集群列表 页签的右上角，单击 创建集群 。
在 创建集群 页面，选择 AI 集群 。

配置集群基本信息

创建 AI 集群需填写的基本信息如下：

参数	说明
集群名称	自定义待管理的集群的名称，集群名称必须以英文字母开头、英文或数字结尾，可包含英文、数字和下划线，且长度为 2 ~ 32 个字符。
root@sys 密码	支持自定义或随机生成，密码需要满足以下复杂度条件：长度为 8~32 个字符。至少包含数字（0~9）、大写字母（A~Z）、小写字母（a~z）和特殊字符四种类型中的三种，支持的特殊字符为 `~!@#%^&*_-+=\|(){}[]:;,.?/`。
OceanBase 版本	从列表中选择已有的 OceanBase 集群版本，若列表中缺少所需版本，可以单击列表下方的添加版本进行上传。说明 AI 集群仅支持 OceanBase AI 集群版本，请选择支持 shared_storage 模式的版本。
关联 OBProxy 集群	如您需要通过 OBProxy 访问 AI 集群，可打开关联 OBProxy 集群开关，为该 OceanBase 集群关联 OBProxy 集群。默认使用 proxyro 用户关联，您无需填写用户名和密码。在下拉框中选择要关联的 OBProxy 集群。如下拉框中没有可关联的 OBProxy 集群，请参考本文前提条件中的描述添加 OBProxy 集群。对于待关联的 OBProxy 集群，有以下限制条件：仅可选择与 OceanBase 集群网络一致且非空的 OBProxy 集群。仅支持关联 V4.0.0 及以上版本的 OBProxy 集群。

配置集群的部署模式

默认添加 2 个 Zone 的信息，如果您希望部署的集群 Zone 的个数大于 2 个，您可以在下方单击 新增 Zone 按钮，增加 Zone 信息。如果部署的集群 Zone 的个数小于 2 个，您可以单击 Zone 后面的删除图标。

每个 Zone 需要设置的信息及其说明如下表所示。

配置	描述
Zone 名称	可保持默认也可自定义。Zone 名称必须以英文字母开头，支持大小写字母、数字和下划线，长度为 2~32。
机房	Zone 所在的机房，一个 Zone 只能存在于一个机房。
机型	可选项。如果选择了机型，后面主机列表会根据机型进行过滤。
CPU 架构	当选择的 OceanBase 版本中存在多个不同架构的安装包时，需选择匹配此软件包的主机硬件架构。注意若为不同的 Zone 设置不同的架构时，混合架构部署模式可能存在稳定性与性能问题，请谨慎操作。
主机	您可以选择多个主机，或进行添加主机的操作。
Root Service 位置	您需选择一个 IP 作为 Root Service 所在的机器。多副本的 OceanBase 集群，其每个 Zone 都需指定一个 root Service。
Zone 优先级排序	选择是否为集群 sys 租户的主副本分布指定优先级。如指定，最高优先级的 Zone 会被视为 Primary Zone，且只能有一个。如不指定，则默认 primary_zone=RANDOM（随机分布）。

数据存储

AI 集群采用存算分离架构，数据主要存储在对象存储中。本模块用于配置 AI 集群的数据存储相关参数。

配置	描述
对象存储配置	选择已创建的对象存储配置，包括 Access Key、Secret Key、Endpoint 等连接信息。
存储目录	指定数据在对象存储中的存储路径，格式为 `s3://my-bucket/my-data`。
Logservice 集群	选择已创建的 Logservice 集群，为 AI 集群提供日志服务。

说明

在创建 AI 集群前，需提前在 OCP 中创建对象存储配置和 Logservice 集群。

配置 CPU 超卖额度

当不同业务场景的负载出现交叠，OceanBase 集群在运行过程中可能会产生负载过载等情况，会出现不同租户间进行线程竞争 CPU 的现象，进而导致实际业务场景变慢。为保证系统不同的租户负载可以有控制地交错运行，配置 CPU 资源时可以进行超卖设置来提升资源利用率。

在 CPU 超卖设置 模块，您可通过滑动块或输入框配置超卖比例，默认值为 120%，取值范围为 101%~200%。

说明

仅支持 OceanBase 4.0 及以上版本对 CPU 进行超卖分配。

配置 JVM 环境依赖服务

开启 JVM 环境依赖服务，OBServer 可通过 JNI（Java Native Interface）框架对接外表、Java UDF、ODPS 远程访问等功能。

注意

仅 OceanBase V4.3.5.1 及其以上版本支持配置 JVM 环境依赖服务。
请参考部署 OceanBase 数据库 JAVA SDK 环境，提前通过上传软件包功能上传服务依赖的 JAR 包库，确保 OBServer 可正常加载使用。

此服务依赖 Java 环境，若集群下存在机器尚未配置 Java 环境，请自行配置：

若主机为 arrch64 架构，需确保 OpenJDK 为 15 及以上版本；
若主机为其它架构，需确保 OpenJDK 为 11 及以上版本。

配置服务类型。

OCP 支持 ODPS 外表、HDFS 外表、Java UDF、ODPS Catalog 和 MySQL 外表插件 5 种服务，不同服务对 OceanBase 集群版本的要求有所不同，详情可参考下表。

服务类型	OceanBase 版本要求
ODPS 外表	[V4.3.5.1, +∞)
HDFS 外表	[V4.3.5.1, +∞)
Java UDF	[V4.3.5.1, +∞)
ODPS Catalog	[V4.4.0, +∞)
MySQL 外表插件	[V4.4.1, +∞)

说明

配置服务类型时，ODPS 外表、HDFS 外表、Java UDF、ODPS Catalog 4 种服务类型均默认开启，不支持关闭。

配置 JVM 内存。

合理的 JVM 内存配置对 Java 应用的稳定性和性能具有直接影响，您可通过对 JVM 内存进行设置，确保 Java 应用程序在 OceanBase 集群中的基本运行需要。根据 OBServer 节点的不同内存规格，提供预定义的 JVM 内存配置选项如下：

OBServer 内存节点	-Xmx/-Xms	-Dio.netty.maxDirectMemory	JVM 内存总计
16 GiB	512 MiB	512 MiB	1 GiB
32 GiB	1 GiB	1 GiB	2 GiB
70 GiB	3 GiB	3 GiB	6 GiB

配置 JAVA_HOME 路径。

开启 JVM 环境依赖服务后，需手动填写 JAVA_HOME 路径，请务必确保集群内全部 OBServer 的 JAVA_HOME 路径完全一致。

配置集群参数

在 参数设置 模块，您可自定义配置集群参数。

单击 添加启动参数，可逐个添加启动参数项，并为其配置参数值。
配置 memory_limit 参数，具体参数值、取值范围参考内核文档。

单击 选择模板自动填充，可在下拉列表中选择一个参数模板，系统会将模板中的参数配置自动填充到此处。

系统提供如下 6 种内置模板，模板中包含了常用的参数设置，您可直接应用该模板进行集群的初始化设置。关于系统内置模板，具体说明如下。

模板	说明
COMPLEX_OLTP 参数模板	对应 Complex OLTP 负载类型，该模板仅适用于 OceanBase V4.2.5 及以上版本。
KV 参数模板	对应 OBKV 负载类型，该模板仅适用于 OceanBase V4.2.5 及以上版本。
OLAP 参数模板	默认模板，对应 OLAP 负载类型，该模板仅适用于 OceanBase V4.3.0 及以上版本。

您也可单击 新建集群参数模板，为集群自定义创建参数模板，详情可参考管理集群参数模板。

说明

AI 集群（shared-storage 模式）中，以下参数的语义与传统集群（shared-nothing 模式）有所不同：

datafile_size：用于设置 Server 级别缓存空间大小，而非数据文件大小。
datafile_disk_percentage：用于设置 Server 级别可用缓存空间占磁盘总空间的百分比，范围 [0, 99]。
datafile_next、datafile_maxsize、_datafile_usage_upper_bound_percentage、_datafile_usage_lower_bound_percentage：在 shared-storage 模式下不支持。

如您对集群级别的 CPU、内存以及缓存盘的使用有定制化变更诉求，请设置参数：cpu_count、memory_limit_percentage、system_memory、datafile_size、datafile_disk_percentage，具体参数说明请参考 OceanBase 官网集群配置项总览。

自定义配置

在 自定义设置 模块，支持您执行集群级别的用户配置（如操作系统属主用户）、路径设置（如软件安装路径、缓存盘路径）以及端口设置（如 SQL 端口、RPC 端口）。

配置操作系统所属主用户：

该用户为配置安装、运行 OBServer 的操作系统用户，不支持编辑。您可通过调整 ocp.operation.default.os.user 参数的默认配置来修改此用户，该参数的修改仅在创建分布式集群、创建集中式、创建 AI 集群、创建 OBProxy 集群和创建仲裁服务时产生影响，不影响已有集群的其他配置。

配置相关路径：

配置	描述
软件安装路径	当操作系统所属主用户为 admin 时，软件安装路径默认为 `/home/admin/oceanbase`，支持自定义。当操作系统所属主用户为非 admin 时，软件安装路径默认为 `/opt/oceanbase/oceanbase`，支持自定义。
缓存盘路径	默认为 `/data/1`，支持自定义。在 AI 集群中，本地磁盘作为缓存盘使用，用于缓存热点基线数据和转储数据，而非持久化存储所有数据。

配置相关端口：

配置	描述
SQL 端口	默认为 2881，支持自定义。
RPC 端口	默认为 2882，支持自定义。

配置完成后，单击测试，校验所填路径及端口是否可用。
- 若测试通过，单击新建。
- 若测试不通过，可根据提示信息进行排查处理。

确认集群信息

在右侧面板中确认所配置的集群信息是否无误，单击 下一步 。
执行创建前的预检查，系统将验证您的环境是否满足创建 AI 集群的最低要求。若检查项执行失败，可根据提示进行如下操作：
- 上传：仅特定检查项失败时展示。请根据提示信息，单击上传手动上传所需软件包。
- 跳过：此操作将跳过当前检查项（专为特殊场景设计），请务必确保相关检查项已满足产品规范要求，否则可能导致后续流程执行失败。跳过后，该检查项的状态将变更为警告。
- 重试：根据失败原因和优化建议对问题进行排查修复，修复后单击重试，重新运行失败的检查项。
- 全部重试：待所有问题均排查修复后，单击 全部重试，重新运行所有失败的检查项。
待不存在执行失败的检查项后，单击新建。

提交新建集群任务后，您可在 任务中心 中查看该任务的执行进度。