Prometheus 监控指标 - OB Cloud 云数据库 master

本文介绍 OB Cloud Exporter 提供的原生监控指标、常见标签、原始单位和数值语义。

指标清单表示当前可提供的集合，不表示每次请求都会包含全部指标。OB 版本、部署形态、租户或集群是否存在、采集成功与否等，都会影响实际返回。

本文的单位和统计口径适用于 Exporter 返回的原生指标。原生指标与控制台中经过计算或单位换算的逻辑指标可能同名，请勿直接混用两者的单位和告警阈值。接入方法请参见通过 Prometheus 监控 OceanBase 数据。

阅读约定

数值语义：counter 表示累计量，通常使用 rate() 或 increase()；gauge 表示当前值，通常直接读取。进程重启、统计重置可能使累计量归零。
单位：Byte 为字节；KiB、MiB、GiB 按 1024 进制；s、ms、μs、ns 分别为秒、毫秒、微秒、纳秒。Gbit/s 按 10⁹ bit/s 计。

常见标签

常见标签及含义如下。

标签	含义
`app`	应用类型（`HOST`：主机；`OB`：OceanBase）
`svr_ip`、`host_name`	节点 IP、云主机标识
`ob_cluster_name`	集群 ID/标识
`obregion`、`obzone`	OB 集群名称、OB Zone 名称
`ob_tenant_id`、`tenant_name`	租户 ID、租户名称
`uid`	云账户标识
`obproxy_cluster`	OBProxy 集群 ID
`ob_cluster_name_alias`、`tenant_name_alias`	集群展示别名、租户展示别名
`device`、`dev`	设备名称
`mountpoint`、`fstype`	文件系统挂载点、文件系统类型
`mount_label`、`ob_device`、`is_ob_disk`、`is_ob_volume`	磁盘用途标识，用于区分安装盘、数据盘、日志盘等
`name`	进程名
`stat_id`	`ob_sysstat` 统计项编号

主机和 OB 指标

主机基础指标

指标名	含义	原始单位	数值语义
`node_cpu_seconds_total`	按 `mode` 聚合后的累计 CPU 时间	s	counter
`node_filesystem_avail_bytes`	文件系统可供非特权用户使用的剩余空间	Byte	gauge
`node_filesystem_size_bytes`	文件系统总容量	Byte	gauge
`node_disk_reads_completed_total`	磁盘累计完成的读操作数	次	counter
`node_disk_read_bytes_total`	磁盘累计读取字节数	Byte	counter
`node_disk_read_time_seconds_total`	磁盘读操作累计耗时	s	counter
`node_disk_writes_completed_total`	磁盘累计完成的写操作数	次	counter
`node_disk_written_bytes_total`	磁盘累计写入字节数	Byte	counter
`node_disk_write_time_seconds_total`	磁盘写操作累计耗时	s	counter
`node_load1`	系统最近 1 分钟平均负载	无量纲	gauge
`node_load5`	系统最近 5 分钟平均负载	无量纲	gauge
`node_load15`	系统最近 15 分钟平均负载	无量纲	gauge
`node_memory_Buffers_bytes`	内核 Buffer 内存大小	Byte	gauge
`node_memory_MemFree_bytes`	空闲内存大小	Byte	gauge
`node_memory_Cached_bytes`	页缓存内存大小	Byte	gauge
`node_memory_MemTotal_bytes`	总内存大小	Byte	gauge
`node_network_receive_bytes_total`	网卡累计接收字节数	Byte	counter
`node_network_transmit_bytes_total`	网卡累计发送字节数	Byte	counter
`node_boot_time_seconds`	系统启动时刻的 Unix 时间戳	s	gauge
`node_time_seconds`	采集时系统的 Unix 时间戳	s	gauge

自定义主机指标

指标名	含义	原始单位	数值语义
`io_util`	磁盘在采样周期内处理 IO 的时间占比	%	gauge
`io_await`	采样周期内每次磁盘读写 IO 的平均耗时	ms	gauge
`node_ntp_offset_seconds`	NTP 或 Chrony 报告的时钟偏移	s	gauge
`node_ntp_system_time_offset_seconds`	Chrony 报告的系统时间与 NTP 时间的偏移	s	gauge
`ntp_service_available`	NTP 偏移采集是否成功：1 表示成功，0 表示命令执行或解析失败	无量纲	gauge
`ntp_suitable_source_available`	`chronyd -Q` 检测到没有合适的时钟源时上报 0（当前仅上报异常）	无量纲	gauge

进程指标

指标名	含义	原始单位	数值语义
`process_exists`	指定进程是否存在：1 表示存在，0 表示不存在	无量纲	gauge
`process_count`	同名 observer 进程数量	个	gauge
`process_uptime_seconds`	observer 进程存活时长	s	gauge
`process_boot_time_seconds`	observer 进程启动的 Unix 时间戳	s	gauge
`process_memory_rss_bytes`	observer 进程常驻内存 RSS	Byte	gauge
`process_cpu_percent`	observer 进程 CPU 使用率	%	gauge
`process_fd_count`	observer 进程文件描述符数量	个	gauge
`process_thread_count`	observer 进程线程数量	个	gauge

OB SQL 指标

指标名	含义	原始单位	数值语义
`ob_role_is_rootserver`	当前 OBServer 是否承载 RootService：1 表示是，0 表示否	无量纲	gauge
`ob_sysstat`	`v$sysstat` 的统计值；由 `stat_id` 决定含义与单位	见 `stat_id` 表	混合
`ob_cache_size_bytes`	租户各类 KVCache 当前占用	Byte	gauge
`ob_disk_total_bytes`	当前 OBServer 数据盘容量	Byte	gauge
`ob_disk_free_bytes`	当前 OBServer 数据盘剩余容量	Byte	gauge
`ob_plan_cache_memory_bytes`	租户计划缓存占用内存	Byte	gauge
`ob_plan_cache_access_total`	租户计划缓存累计访问次数	次	counter
`ob_plan_cache_hit_total`	租户计划缓存累计命中次数	次	counter
`ob_active_session_num`	租户当前 ACTIVE 会话数	个	gauge
`ob_all_session_num`	租户当前全部会话数	个	gauge
`ob_server_uptime_seconds`	当前节点从 `start_service_time` 至采集时刻的运行时长	s	gauge
`ob_query_rt_cumulative_count`	SQL 响应时间小于等于 `le` 的累计请求数	次；`le` 的单位为 μs	累计桶计数
`ob_system_event_total_waits`	按等待类别汇总的非 IDLE 等待累计次数	次	counter
`ob_system_event_time_waited`	按等待类别汇总的非 IDLE 等待累计耗时	s	counter
`ob_tenant_available_disk_total`	租户所在各 Zone 的 OB 数据盘总容量中最大的一份	Byte	gauge
`ob_tenant_log_disk_total_bytes`	当前节点分配给租户的日志盘容量	Byte	gauge
`ob_tenant_log_disk_used_bytes`	当前节点租户已使用的日志盘容量	Byte	gauge
`ob_tenant_server_required_size`	租户在节点上数据文件实际占用的磁盘空间	Byte	gauge
`ob_tenant_server_data_size`	租户在节点上的数据量	Byte	gauge
`ob_waitevent_wait_total`	租户全部非 IDLE 等待累计次数	次	counter
`ob_waitevent_wait_seconds_total`	租户全部非 IDLE 等待累计耗时	s	counter
`ob_foreground_waitevent_cnt`	最近 1 秒 ASH 中前台非 IDLE 等待或 ON_CPU 样本数	个	gauge
`ob_background_waitevent_cnt`	最近 1 秒 ASH 中后台非 IDLE 等待或 ON_CPU 样本数	个	gauge
`ob_sql_event_in_parse`	最近 1 秒 ASH 样本中处于 SQL 解析阶段的样本数	个	gauge
`ob_sql_event_in_pl_parse`	最近 1 秒 ASH 样本中处于 PL 解析阶段的样本数	个	gauge
`ob_sql_event_in_plan_cache`	最近 1 秒 ASH 样本中处于计划缓存访问阶段的样本数	个	gauge
`ob_sql_event_in_sql_optimize`	最近 1 秒 ASH 样本中处于 SQL 优化阶段的样本数	个	gauge
`ob_sql_event_in_sql_execution`	最近 1 秒 ASH 样本中处于 SQL 执行阶段的样本数	个	gauge
`ob_sql_event_in_px_execution`	最近 1 秒 ASH 样本中处于 PX 并行执行阶段的样本数	个	gauge
`ob_sql_event_in_sequence_load`	最近 1 秒 ASH 样本中处于自增列或 SEQUENCE 取值阶段的样本数	个	gauge
`ob_ss_cache_total_hit_cnt`	共享存储本地缓存累计命中次数	次	counter
`ob_ss_cache_total_miss_cnt`	共享存储本地缓存累计未命中次数	次	counter
`ob_tenant_space_usage_bytes`	租户按 `SPACE_TYPE` 分类的空间使用量	Byte	gauge
`ob_tenant_vector_mem_hold_bytes`	向量索引持有内存量	Byte	gauge
`ob_tenant_vector_mem_used_bytes`	向量索引已使用内存量	Byte	gauge
`ob_tenant_vector_mem_limit_bytes`	向量索引内存使用上限	Byte	gauge
`ob_clog_ls_end_scn`	日志流连续日志的结束 SCN	SCN，纳秒量纲	gauge
`ob_clog_ls_max_replayed_scn`	日志流已回放到的最大 SCN	SCN，纳秒量纲	gauge
`ob_m_disk_tenant_base_data_size`	租户 Major SSTable 基线数据量，按上游规则去除副本重复	Byte	gauge
`ob_user_disk_total_bytes`	客户配置的节点数据盘容量；指标名虽以 `_bytes` 结尾，实际单位为 GiB	GiB	gauge
`ob_m_ssd_threshold_iops`	单盘 SSD 或云盘 IOPS 能力上限	次/s	gauge
`ob_m_ssd_threshold_throughput`	单盘 SSD 或云盘吞吐能力上限	MiB/s	gauge
`ob_m_ecs_threshold_iops`	ECS 实例级磁盘 IOPS 能力上限	次/s	gauge
`ob_m_ecs_threshold_throughput`	ECS 实例级磁盘吞吐能力上限	Gbit/s	gauge

ob_sysstat 统计项

指标及标签示例（省略部分标签）：ob_sysstat{stat_id="40000",ob_tenant_id="…",tenant_name="…",…}

网络与请求队列

stat_id	含义	原始单位	数值语义
10000	累计收到的 RPC 包数量	次	counter
10001	累计收到的 RPC 包大小	Byte	counter
10002	累计发送的 RPC 包数量	次	counter
10003	累计发送的 RPC 包大小	Byte	counter
10005	累计 RPC 网络延迟	μs	counter
10006	累计 RPC 框架延迟	μs	counter
20000	累计请求入队列次数	次	counter
20001	累计请求出队列次数	次	counter
20002	请求在队列中的累计等待时间	μs	counter

事务与 clog 同步

stat_id	含义	原始单位	数值语义
30000	累计 clog 同步时间	μs	counter
30001	累计 clog 同步次数	次	counter
30002	累计 clog 提交次数	次	counter
30006	事务总时间	μs	counter
30007	累计事务提交次数	次	counter
30008	累计事务提交耗时	μs	counter
30009	累计事务回滚次数	次	counter
30010	累计事务回滚耗时	μs	counter
30011	累计事务超时次数	次	counter
30012	累计本地事务次数	次	counter
30013	累计分布式事务次数	次	counter

SQL 与游标

stat_id	含义	原始单位	数值语义
40000	累计执行的 SELECT 语句数	次	counter
40001	SELECT 语句累计执行耗时	μs	counter
40002	累计执行的 INSERT 语句数	次	counter
40003	INSERT 语句累计执行耗时	μs	counter
40004	累计执行的 REPLACE 语句数	次	counter
40005	REPLACE 语句累计执行耗时	μs	counter
40006	累计执行的 UPDATE 语句数	次	counter
40007	UPDATE 语句累计执行耗时	μs	counter
40008	累计执行的 DELETE 语句数	次	counter
40009	DELETE 语句累计执行耗时	μs	counter
40010	累计本地 SQL 执行次数	次	counter
40011	累计远程 SQL 执行次数	次	counter
40012	累计分布式 SQL 执行次数	次	counter
40018	累计执行的其他 SQL 语句数	次	counter
40019	其他 SQL 语句累计执行耗时	μs	counter
40030	当前打开的游标数量（opened cursors current）	个	gauge

缓存命中与 IO

stat_id	含义	原始单位	数值语义
50000	累计 row cache 命中次数	次	counter
50001	累计 row cache 未命中次数	次	counter
50004	累计 bloomfilter 缓存命中数	次	counter
50005	累计 bloomfilter 缓存未命中数	次	counter
50008	累计 block cache 命中次数	次	counter
50009	累计 block cache 未命中次数	次	counter
50010	累计 location 缓存命中数	次	counter
50011	累计 location 缓存未命中数	次	counter
50037	累计 clog 缓存命中数	次	counter
50038	累计 clog 缓存未命中数	次	counter
60000	累计 IO 读次数	次	counter
60001	累计 IO 读延时	μs	counter
60002	累计 IO 读字节数	Byte	counter
60003	累计 IO 写次数	次	counter
60004	累计 IO 写延时	μs	counter
60005	累计 IO 写字节数	Byte	counter
60021	累计 MemStore 写锁成功次数	次	counter
60022	累计 MemStore 写锁失败次数	次	counter
60023	MemStore 等待写锁的累计时间	μs	counter
80057	事务日志累计字节量	Byte	counter

缓存、MemStore 与资源

stat_id	含义	原始单位	数值语义
120000	location 缓存当前占用	Byte	gauge
120001	clog 缓存当前占用	Byte	gauge
120008	行缓存大小	Byte	gauge
120009	bloomfilter 缓存大小	Byte	gauge
130000	活跃 MemStore 大小	Byte	gauge
130001	MemStore 总大小	Byte	gauge
130002	触发 major freeze 阈值	Byte	gauge
130004	MemStore 大小限制	Byte	gauge
140002	最大可使用内存	Byte	gauge
140003	已使用内存	Byte	gauge
140005	租户最大可用 CPU 核数 × 100	0.01 core	gauge
140006	租户实际使用 CPU 核数 × 100	0.01 core	gauge
140013	cgroup 统计的租户线程累计 CPU 时间	μs	counter

数据库时间模型

stat_id	含义	原始单位	数值语义
200002	数据库前台活动累计 CPU 时间（DB CPU）	μs	counter
200006	后台进程累计 CPU 时间	μs	counter
200010	前台累计非空闲等待时间	μs	counter
200013	后台累计非空闲等待时间	μs	counter

共享存储微块缓存 IO

以下指标已表示 IOPS 或吞吐率，无需再使用 rate() 计算。

stat_id	含义	原始单位	数值语义
245012	共享存储微块缓存 `common_io` 当前读 IOPS	次/s	gauge
245013	共享存储微块缓存 `common_io` 当前读吞吐率	Byte/s	gauge
245014	共享存储微块缓存 `common_io` 当前写 IOPS	次/s	gauge
245015	共享存储微块缓存 `common_io` 当前写吞吐率	Byte/s	gauge

SQL Audit 监控指标

指标名	含义	原始单位	数值语义
`sql_audit_slow_sql_total_count`	agent SQL Audit 采集中判定为慢 SQL 的记录累计数	条	counter
`sql_audit_failed_sql_total_count`	agent SQL Audit 采集中 `FailCount` 大于 0 的记录累计数	条	counter

ODP 和 Binlog 指标

ODP 容器与 Kubernetes 资源指标

常见标签为 obproxy_cluster、namespace、pod、container，以及指标特有的设备、网卡和资源标签；具体以云平台上游采集和重打标结果为准。以下语义依据 cAdvisor 指标定义、kube-state-metrics Pod 指标；CPU 配额的微秒口径另见 cAdvisor quota 说明。

指标名	含义	原始单位	数值语义
`container_cpu_load_average_10s`	容器最近 10 秒 CPU 平均负载的 1000 倍；使用时需将返回值除以 1000，得到实际平均负载	无量纲	gauge
`container_cpu_usage_seconds_total`	容器累计消耗的 CPU 时间	s	counter
`container_fs_reads_bytes_total`	容器文件系统累计读取字节数	Byte	counter
`container_fs_reads_total`	容器文件系统累计完成读操作数	次	counter
`container_fs_writes_bytes_total`	容器文件系统累计写入字节数	Byte	counter
`container_fs_writes_total`	容器文件系统累计完成写操作数	次	counter
`container_memory_cache`	容器页缓存内存量	Byte	gauge
`container_memory_usage_bytes`	容器当前内存使用量	Byte	gauge
`container_network_receive_bytes_total`	容器网络累计接收字节数	Byte	counter
`container_network_transmit_bytes_total`	容器网络累计发送字节数	Byte	counter
`container_spec_cpu_quota`	每个 CFS 周期允许使用的 CPU 时间配额	μs/周期	gauge
`container_spec_memory_limit_bytes`	容器配置的内存限制	Byte	gauge
`kube_pod_container_resource_limits`	Pod 中容器配置的资源限制	由 unit 决定：CPU 为 core，内存为 Byte	gauge

ODP 性能指标

指标名	含义	原始单位	数值语义
`odp_transaction_total`	OBProxy 累计处理事务数	次	counter
`odp_sql_request_total`	OBProxy 累计处理 SQL 请求数	次	counter
`odp_sql_cost_total`	OBProxy 处理 SQL 请求的累计耗时	ms	counter
`odp_current_session`	OBProxy 当前连接数	个	gauge
`odp_used_connections`	OBProxy 当前客户端连接数	个	gauge
`odp_new_client_connections`	OBProxy 累计登录的客户端连接数	次	counter

ODP 进程指标

与 agent 的 observer 指标同名，但代表不同进程、不同采集来源。查询时保留集群、节点和进程维度，避免直接求和混入两类进程。

指标名	含义	原始单位	数值语义
`process_cpu_percent`	OBProxy 进程 CPU 使用率	%	gauge
`process_memory_rss_bytes`	OBProxy 进程常驻内存 RSS	Byte	gauge

Binlog 指标

指标名	含义	原始单位	数值语义
`binlog_instance_disk_total_size_mb`	Binlog 实例已使用的日志磁盘空间	MiB（名称写作 mb）	gauge