基于湖库一体架构,统一管理结构化、半结构化与非结构化等多模态数据,一个系统承载事务处理、实时分析与 AI 工作负载。
os_observer_not_exist OB server 进程不存在
更新时间:2026-04-14 11:55:54
告警描述
该告警监测 OBServer 节点主机上的 observer 进程是否存在,若不存在则上报告警。
告警原理
| 参数 | 值 |
|---|---|
| 监控指标 | observer_process_exists |
| 指标来源 | 主机基础监控,查看系统是否有 observer 进程 可执行 ps -ef|grep -w observer|grep -v grep|wc -l 返回 observer 进程数量。 |
| 采集指标 | process_exists |
| 监控表达式 | min(process_exists{name="observer",@LABELS}) by (@GBLABELS) |
| 采集周期 | 1 秒 |
规则信息
| 监控表达式 | 监控指标含义 | 默认阈值 | 检测周期 | 消除周期 |
|---|---|---|---|---|
| observer_process_exists == 0 | 0 | 10 秒 | 5 分钟 |
告警信息
| 告警触发方式 | 告警等级 | 范围 |
|---|---|---|
| 基于监控指标的表达式 | 严重 | 服务器 |
告警模板
- 告警概述
- 模板:${alarm_target} ${alarm_name}
- 样例:ob_cluster=obcluster-1631964370:svr_ip=xxx.xxx.xxx.xxx OB server 进程不存在
- 告警详情
- 模板:集群:${ob_cluster_name},主机:${host},告警:OB server 进程不存在。
- 样例:集群:obcluster-1,主机:xxx.xxx.xxx.xxx,告警:OB server 进程不存在。
对系统的影响
- 对于单副本系统来说,observer 进程不存在会导致停止服务。
- 对于多副本的 OceanBase 集群,可能会由于 observer 进程不存在而导致其可用性下降:如 3 zone 变为 2 zone,同城 3 机房变为 2 机房。
可能原因
OBServer 节点被意外重启,如:系统资源不足时被 kill。
处理方法
尝试在 observer 进程异常退出时重新拉起。您可以通过执行预案快速处理,详细操作请参见 告警预案。
事件发生的 30 分钟之内仅拉起一次。
查看主机的基础监控,如内存、CPU 使用率、负载、磁盘使用率等是否符合预期。
查看 OBServer 节点运行日志,是否存在大量 ERROR 日志:
tail -10000 /home/admin/oceanbase/log/observer.log.wf | grep ERROR | wc -l若存在大量 ERROR 日志,请联系技术支持。
检查 OS 日志,在
/var/log/messages日志文件中搜索 error 关键字,观察系统返回的信息。