ob_cluster_exists_inactive_server OceanBase 集群存在不工作 OBServer

告警描述

该告警监测 OceanBase 集群中是否存在不工作的 OBServer 节点，存在则上报告警。

告警原理

下表列出了该告警监控逻辑中涉及的关键参数。

OceanBase 内部有心跳机制判断每个 OBServer 节点的状态，并将状态实时更新到 __all_server 表，每台 OBServer 节点均可获取到该表信息。

规则信息

告警信息

告警模板

• 告警概述

  • 模板：${alarm_target} ${alarm_name}
  • 样例：alarm_template_id=0:ob_cluster=obcluster-1 OceanBase 集群存在不工作 OBServer

• 告警详情

  • 模板：集群：${ob_cluster_name}，告警：${alarm_name}。不工作 OBServer 数量为 ${value}，不工作 OBServer 有 ${server_ips}。
  • 样例：集群：obcluster-1，告警：OceanBase 集群存在不工作 OBServer。不工作 OBServer 数量为 2，不工作 OBServer 有 xxx.xxx.xxx.1,xxx.xxx.xxx.2。

• 告警恢复

  • 模板：告警：${alarm_name}，OceanBase 集群不工作 OBServer 数量：${value}
  • 样例：告警：OceanBase 集群存在不工作 OBServer 节点，OceanBase 集群不工作 OBServer 数量：0

其中，${alarm_target} 表示产生告警的对象。格式为 ob_cluster=xxxxxxx。ob_cluster 为产生告警的集群的名称。

对系统的影响

可用的 OBServer 节点数量减少，导致集群可用性下降。

如 3 节点集群中 1 个节点异常停止后，则三副本变为两副本，此时如果再有 1 个节点异常停止，则该集群将不可用。

可能原因

常见于以下三种情况：

• 网络通信故障。

• OBServer 节点故障或进程异常停止。

• observer 进程存活但无响应，心跳不上报。

处理方法

1. 确认是否还需要使用该 OBServer 节点。

   • 需要，则继续执行下一步，排查该 OBServer 节点不工作的原因。

   • 不需要，可直接删除该 OBServer 节点。

2. 检查是否网络通信故障。

   参考如下命令检查 OBServer 节点和 Leader OBServer 节点之间是否网络故障。

   #在 OBServer 节点上 ping Leader OBServer 节点，xxx.xxx.xxx.1 为备份存储主机的示例 IP。
   ping xxx.xxx.xxx.1
   
   #在 Leader OBServer 节点上 ping OBServer 节点，xxx.xxx.xxx.2 为 OCP 主机的示例 IP。
   ping xxx.xxx.xxx.2
   

   说明

   Leader OBServer 节点的 IP 可在该 OceanBase 集群的 sys 租户下执行如下语句获取。 select svr_ip,with_rootserver from oceanbase.__all_server;

   • 若有返回连续的数据发送信息，则网络正常，可能是其他原因导致告警。

   • 若未返回连续的数据发送信息，则网络故障。请联系网络管理员排查具体的网络问题，若无网络管理员请参考 网络故障排查 进行排查并修复。

3. 检查 OBServer 节点是否故障或进程异常停止。

   查看是否有 ob_cannot_connected OB 服务器无法连接 告警上报。

   • 是，则 OBServer 节点故障或进程异常，请先参考 ob_cannot_connected OB 服务器无法连接 解决。

   • 否，可能是其他原因，继续执行下一步进行排查。

4. 检查是否 observer 进程正常但心跳不上报。

   通过 OCP 的 主机列表 进入对应 OBServer 节点，查看 OCP Agent 页签中的进程是否正常。

   若进程正常但该 OBServer 节点仍然连不上则可能是心跳未上报。建议检查磁盘或内存是否充足。

   #检查内存剩余
   free -m
   
   #检查 OBServer 节点目录（默认为 /home/admin）磁盘剩余
   df -h
   

   • 磁盘或内存不足，可能导致 OBServer 节点心跳不上报。

     • 磁盘不足，对磁盘进行扩容或清理无用日志或视业务情况缩减数据保留天数。

     • 内存不足，对内存进行扩容或视业务量缩减租户规格。

   • 磁盘和内存充足，请继续执行下一步。

5. 联系 OCP 技术支持人员定位。