obproxy_process_dead OBProxy 进程不存在

告警描述

该告警监测 OBProxy 主机上的 obproxy 进程是否存在，若不存在则上报告警。

告警原理

下表列出了该告警监控逻辑中涉及的关键参数。

规则信息

告警信息

告警模板

• 告警概述模板：${alarm_target} ${alarm_name}

• 告警详情模板：OBProxy 集群：${obproxy_cluster}，主机：${host}，告警：${alarm_name}

• 告警概述样例：obproxy_cluster_id=3:obproxy_cluster=obproxy_02:svr_ip=xxx.xxx.xxx.xxx OBProxy 进程不存在

• 告警详情样例：OBProxy 集群：obproxy_cluster_id=3，主机：xxx.xxx.xxx.xxx，告警：OBProxy 进程不存在

其中，${alarm_target} 表示产生告警的对象。格式为obproxy_cluster_id=xx:obproxy_cluster=xx:svr_ip=xx。obproxy_cluster_id 为产生告警的 OBProxy 集群 id，ob_cluster 为产生告警的 OBProxy 集群的名称，svr_ip 为产生告警的 OBProxy 机器 IP。

对系统的影响

OBProxy 作为 OceanBase 集群的代理层，提供对 OBServer 节点的访问。当 OBProxy 进程不存在时，将导致应用无法连接数据库。

可能原因

常见于以下情况：

• 网络通信故障。

• OBProxy 进程异常停止。

• OBProxy 进程存活但无响应，心跳不上报。

  心跳不上报常源于内存不足、磁盘空间不足、网络故障或 OBProxy 负载过高。

处理方法

1. 检查 OBProxy 机器是否故障。

   OBProxy 机器是否可启动。

   • 是，执行步骤 2。

   • 否，则是 OBProxy 机器故障导致进程不存在，建议替换该 OBProxy。

     方法为：在该 OBProxy 集群中添加新的 OBProxy，然后再删除当前故障的 OBProxy。

2. 使用 ssh 命令登录 OBProxy 机器看是否能正常登录。

   • 是，可能是其他未知问题，请执行步骤 3。

   • 否，则 OBProxy 机器繁忙，建议重启 OBProxy。

     1. 选择 OCP > OBProxy ，在集群列表中找到故障 OBProxy 所属集群，并单击集群名。

     2. 在 OBProxy 列表中找到故障 OBProxy 主机，并单击其对应 操作 列的 重启 。

     3. 若重启后仍无法连接，请执行步骤 3。

3. 检查是否该 OBProxy 负载过高或网络不通。

   参考如下命令检查进程状态和资源使用情况。

   # 查看进程是否存活，若未存活请重新启动。
   ps aux | grep obproxy
   
   # 如果 CPU 内存等资源使用过高，OBProxy 可能无法正常工作。
   # 查看 OBServer 节点的 CPU、内存使用率。
   top -n 1 -p $(pgrep obproxy)
   
   # 查看磁盘（数据盘、日志盘）剩余空间。
   df | grep /data
   
   
   # 查看 OBServer 节点网络连接数，若连接数为 0，可能网络故障。
   netstat -anp | grep 2883 | wc -l
   

   若以上问题都没有则继续执行下一步。

4. 可能是其他未知问题，请参考如下方法收集日志信息并联系技术支持。

   1. 收集 OBProxy 日志

      一般而言，OBProxy 产生的 ERROR 日志会在 OCP 产生告警信息，可先到 OCP 告警事件页面查看是否存在 OBProxy 日志告警。

   2. 收集 OS 日志，在 /var/log/messages 日志文件中搜索 error 关键字，观察系统返回的信息。