基于湖库一体架构,统一管理结构化、半结构化与非结构化等多模态数据,一个系统承载事务处理、实时分析与 AI 工作负载。
ocp_alarm_detect_timeout OCP 告警规则检测超时
更新时间:2023-11-21 09:58:00
告警描述
OCP 告警规则检测超时。某项告警规则检测耗时大于 2.5s 则发出此告警。
告警原理
| 参数 | 值 |
|---|---|
| 监控指标 | ocp_alarm_detect_duration_seconds |
| 指标来源 | OCP Server 埋点数据 |
| 采集指标 | ocp_alarm_detect_duration_seconds |
| 监控表达式 | (sum(rate(ocp_alarm_detect_duration_ms_sum{@LABELS}[@INTERVAL])) by (@GBLABELS) / sum(rate(ocp_alarm_detect_duration_ms_count{@LABELS}[@INTERVAL])) by (@GBLABELS)) / 1000 |
| 采集周期 | 60 秒 |
告警信息
| 告警触发方式 | 告警等级 | 范围 |
|---|---|---|
| 基于监控指标的表达式 | 警告 | OCP 节点 |
规则信息
| 监控指标 | 默认阈值 | 监控指标来源间 | 检测周期 | 消除周期 |
|---|---|---|---|---|
| ocp_alarm_detect_duration_seconds | 2.5 | OCP Server 埋点数据 | 60 秒 | 5 分钟 |
告警模板
- 告警概述
- 模板:${alarm_target} ${alarm_name}
- 样例:alarm_template_id=0:svr_ip=xxx.xxx.xxx.xxx:type=os_tsar_cpu_util_full OCP 告警规则检测超时。
- 告警详情
- 模板:[${alarm_name}] OCP 服务器:${svr_ip} 告警规则检测耗时 ${value_shown} 过长,type=${type}。
- 样例:[OCP 告警规则检测超时] OCP 服务器:xxx.xxx.xxx.xxx 告警规则检测耗时 0.003 过长,type=os_tsar_cpu_util_full。
对系统的影响
OCP 告警检测耗时超过 3s 则会失效,可能出现异常情况漏告警的情况。
可能原因
- 系统状态异常(内存不足、CPU 打满)。
- 系统配置不足,无法承载计算过多的告警检测对象。
处理方法
检查是否关联了较多的告警对象,可尝试提升 OCP 节点性能。
调整阈值到 3s。若还是出现告警,则说明此项检测已经失效,可能导致漏告警。应获取相关告警信息并联系管理员进行排查。