问题现象
收到告警,但是实际指标并未达到告警值,且在告警详情页面的监控图表中,告警时间点的监控数据并无异常。
可能原因
告警依赖监控计算,而一个监控指标的计算是由一系列 series 数据聚合而来,如 inode 指标,会聚合不同 device 的数据。
监控采集会先写入缓存,这个过程不是一次性写入,而是通过队列持续消费,当 OCP 存在性能压力或者抖动时,则可能出现消费不及时的情况,而告警往往是计算最近几秒钟的监控数据,这时候就可能出现计算监控的部分 series 还未采集到缓存中,从而影响最终计算结果。
影响版本
OCP 所有版本。
解决方法及规避方式
建议以告警页面的监控图表为准,当监控数据与告警值差距较大时,即为误告警。在 OCP 压力较大的情况下,此情况很难完全避免,若误告警的频率较低,您可做忽略处理;若误告警频率较高,您可通过增大告警检测周期进行规避。