ocp_collect_metric_failure_rate_high OCP-Server 采集监控失败率过高

更新时间：2026-04-14 11:55:54

告警描述

OCP-Server 采集 OCP-Agent 的 exporter，当采集失败率超过阈值时产生此告警。采集失败率：采集失败次数/采集次数。

告警原理

参数	值
监控指标	collect_metric_failure_rate
指标来源	OCP自监控，可以请求 `http://OCP-IP:8080/api/v2/actuator/prometheus` 查看。
采集指标	ocp_monitor_collect_request_errors_total, ocp_monitor_collect_request_duration_ms_count
监控表达式	100 * sum(rate(ocp_monitor_collect_request_errors_total{app="OCP"}[60])) by (svr_ip) / sum(rate(ocp_monitor_collect_request_duration_ms_count{app="OCP"}[60])) by (svr_ip)
采集周期	60 秒

规则信息

监控表达式	监控指标含义	默认阈值	检测周期	消除周期
collect_metric_failure_rate > 10	采集监控 exporter 出错率	10	15 秒	5 分钟

告警信息

告警触发方式	告警等级	范围
基于监控指标的表达式	严重	服务

告警模板

告警概述
- 模板：${alarm_target} ${alarm_name}
- 样例：alarm_template_id=0:app=OCP OCP-Server 采集监控失败率过高
告警详情
- 模板：告警：${alarm_name}。采集监控失败率：${value_shown}。
- 样例：告警：OCP-Server 采集监控失败率过高。采集监控失败率：75.757 %。

对系统的影响

白屏监控、告警、诊断、巡检等依赖监控的服务可能会受影响，如：

白屏存在断点或无监控展示。
告警无法生效，出现异常时不能产生告警。
诊断报告、巡检报告不能找到异常原因。

可能原因

OCP 元数据库租户资源不足，导致 OCP 频繁出现 full GC，可以根据文档排查，并适当扩容，详情请参见，MonitorDB 资源。
OCP-Agent ocp_monagent 进程异常，导致访问其 exporter（API）异常，可以查看 /home/admin/ocp_agent/log/monagent.log 中的报错信息进一步确认。
查看 OCP-Server 日志（ocp.log），定位错误原因。如网络原因，可能会报访问超时（如果 API 在 1 秒内不能响应，则会认定为超时错误）。

OCP-Agent 采集的数据过多，导致 API 响应超时。可在缺少监控的主机上执行命令查看具体返回多少监控数据，如果数据量过多（超时 10000 行则已经不正常），需升级 OCP 版本（V4.2.0 之后版本）。

sudo curl -s --unix-socket /home/admin/ocp_agent/run/ocp_monagent.$(cat /home/admin/ocp_agent/run/ocp_monagent.pid).sock http://unix-socket-server/metrics/ob/basic | wc -l
sudo curl -s --unix-socket /home/admin/ocp_agent/run/ocp_monagent.$(cat /home/admin/ocp_agent/run/ocp_monagent.pid).sock http://unix-socket-server/metrics/ob/extra | wc -l

处理方法

如果是资源不足问题，需给 ocp_monitor、ocp_meta 租户扩容。
如果是 OCP-Agent 问题，常伴有其他告警出现，如 monitor_exporter_unavaliable、monagent_log_alarm、obagent_dead、host_unavailable，可以查看对应告警的处理建议，应急时可尝试重启或重装 OCP-Agent。
升级 OCP-Agent 版本。在 OCP V4.2.1 版本，过滤了诊断数据中的 0 值数据，该数据可能占比很大，对采集性能有较大影响。