no_enough_exporter exporter 数量不够

告警描述

该告警监测主机上的 exporter 数量是否足够，若不够则触发告警。

目前共有 8 种 exporter ，其中：

• 3 种用于 OBServer 节点的监控数据，分别是 /metrics/node/ob, /metrics/ob/basic, /metrics/ob/extra。

• 2 种用于 OBProxy 的监控数据，分别是 /metrics/node/obproxy,/metrics/obproxy。

• 1 种 /metrics/node/host用于主机监控。

• 2 种用于 agent 自监控，分别是 :62888/metrics/stat 和 :62889/metrics/stat。

假设某台主机上同时部署了 OBServer 节点和 OBProxy 服务，则该主机上预期有 8 种 exporter ，若检测到该主机上实际在工作的 exporter 数量不足 8 ，则触发该告警。

告警原理

OCP-Server 每 1 分钟检测一次 exporter 状态，当 active 状态的 exporter 数量与预期不符且持续时间超过阈值时，触发告警。

阈值默认 3 分钟，可通过编辑系统参数 ocp.host.exporter.max-inactive-continuous-seconds 修改阈值。

规则信息

告警信息

告警模板

• 告警概述模板: ${alarm_target} ${alarm_name}

• 告警详情模板: 主机：${host}，告警：${alarm_name}，部署服务 [${host_services}]，预期 exporter 数量 ${expected_exporter_count}，实际 exporter 数量 ${actual_exporter_count}

• 告警概述样例: service=OCP:svr_ip=xxx.xxx.xxx.xxx exporter 数量不够

• 告警详情样例: 主机：xxx.xxx.xxx.xxx，告警：exporter 数量不够， 部署服务 [OB,ObProxy]，预期 exporter 数量 6，实际 exporter 数量 3

对系统的影响

• OCP 无法对故障主机的监控指标进行采集，可能会出现如下现象：

  • 监控有数据

  • 监控缺数据

  • 监控完全无数据

• 部分指标还会用于告警检测，如果告警依赖的监控指标不可用，那么对应的告警功能也不可用。

可能原因

OCP-Agent 启动失败。

处理方法

1. 在报错的 OCP 的 MetaDB 中执行 select * from ocp_exporter_address 命令查看 exporter 不足的主机。

   找到 status 字段值为 inactive 的记录，该记录的 instance 字段值中的 IP 即为 exporter 不足的主机 IP。

2. 登录到 exporter 不足的主机，重启 OCP-Agent 。

   可参考 OCP-Agent 运维脚本 重启 OCP-Agent。

   若重启仍失败，则：

   • 可在 OCP 的主机详情页中通过 下载日志 按钮下载 OCP Agent 日志并查看定位具体原因。

   • 也可在 OCP 界面找到对应主机并进入其 OCP-Agent 页签，查看相关进程如 pos_proxy、node_exporter、ocp_agentd 是否有异常，如有异常可点击 下载日志 查看具体原因。