常用告警项说明

常用告警项说明

更新时间：2023-07-18 17:25:58

告警项名称	说明	触发条件	告警范围
os_observer_core_dump	OBServer Core Dump	[< 1200，严重]	服务器
os_observer_not_exist	OBServer 进程不存在	[== 0，严重]	服务器
os_tsar_nvme_ioawait	OBServer NVMe 磁盘 ioawait 高	[> 20，严重]	服务器
os_tsar_sda_ioawait	OBServer 磁盘 ioawait 过高	[>= 200，严重]	服务器
os_kernel_io_hang	OBServer I/O Hang	[>= 99，严重]	服务器
os_observer_fd_usage	OBServer 打开句柄过多	[> 65，严重]	服务器
ob_tenant_slow_sql_exists	OceanBase 租户存在慢 SQL	[> 100，警告]	租户
ob_tenant_large_trans_exist	OceanBase 租户存在大事务	[> 0.5，严重]	租户
ob_tenant_long_trans_exist	OceanBase 租户存在长事务	[> 1200，严重]	租户
ob_tenant_expired_trans_exist	OceanBase 租户存在悬挂事务	[> 1200，严重]	租户
ob_tenant_memtable_release_timeout	OceanBase 租户 memtable 长时间未释放	[> 600，严重]	租户
ob_tenant_task_timeout	OceanBase 租户任务超时	[> 10800，严重]	租户
node_file_datalog1_usage	OceanBase 日志盘使用率过高	[> 82，严重]	服务器
node_file_data1_usage	OceanBase 数据盘磁盘使用率过高	[> 99.7，严重]	服务器
os_home_file_usage	服务器 home 目录磁盘使用率超限	[> 80，严重]	服务器
ob_cluster_rs_not_same	Config server 中 rootserver 信息不正确	告警等级：严重	集群
ob_host_log_disk_percent_over_threshold	OBServer 日志目录磁盘使用率超限	[> 85，严重] [> 95，停服]	服务器
ob_host_data_disk_percent_over_threshold	OBServer 数据目录磁盘使用率超限	[> 97，严重]	服务器
ob_host_install_disk_percent_over_threshold	OBServer 安装目录磁盘使用率超限	[> 95，严重] [> 97，停服]	服务器
ob_tenant_exists_expired_xa_trans	OceanBase 租户存在 XA 悬挂事务	[> 1200，严重]	租户
ob_cluster_active_session_count_over_threshold	OceanBase 集群活跃会话数超限	[> 10000，严重]	集群
ob_tenant_active_session_count_over_threshold	OceanBase 租户活跃会话数超限	[> 2000，严重]	租户
ob_host_active_session_count_over_threshold	OBServer 活跃会话数超限	[> 500，严重]	租户服务器
ob_cluster_sync_delay_time_too_long	OceanBase 集群同步延迟时间过长	[> 600，警告]	集群
ob_cluster_status_check_failed	OceanBase 集群状态检测失败	[== 0，停服]	集群
ob_cluster_sync_failed	获取 OceanBase 集群信息失败	[== 0，严重]	集群
ob_tenant_operation_info	OceanBase 租户操作提醒	告警等级：提醒	租户
ob_cluster_operation_info	OceanBase 集群操作提醒	告警等级：提醒	集群
tenant_memstore_percent_over_threshold	OceanBase 租户 memstore 使用百分比超限	[> 85，警告] [> 95，严重]	租户
tenant_cpu_percent_over_threshold	OceanBase 租户 CPU 使用率超限	[> 95，警告]	租户
tenant_active_memstore_percent_over_threshold	OceanBase 租户活跃 memstore 百分比超限	[> 110，严重]	租户
ob_tenant500_mem_hold_percent_over_threshold	OceanBase 500 租户内存占用率超限	[> 95，严重]	集群
ob_zone_sstable_percent_over_threshold	OceanBase 集群 Zone 数据盘使用率超限	[> 85，警告] [> 97，严重]	集群
ob_server_sstable_percent_over_threshold	OBServer 数据盘使用率超限	[> 85，警告] [> 97，严重]	服务器
ob_tenant500_mem_hold_over_threshold	OceanBase 500 租户的占用内存大小超限	[> 100，严重]	服务器
ob_host_disk_readonly	OBServer 磁盘只读	[== 1，严重]	服务器
ob_host_partition_count_over_threshold	OBServer 分区数量超限	[> 30000，严重]	服务器
ob_cluster_no_merge	OceanBase 集群合并检测失败	[> 108000，严重]	集群
ob_cluster_no_frozen	OceanBase 集群冻结检测失败	[> 90000，严重]	集群
ob_cluster_merge_error	OceanBase 集群合并出错	[== 1，严重]	集群
ob_cluster_merge_timeout	OceanBase 集群合并超时	[== 1，严重]	集群
ob_mem_assigned_percent_over_threshold	OceanBase 已经分配给租户的内存占比超限	[> 98，注意]	服务器
ob_cluster_exists_index_fail_table	OceanBase 集群存在索引失败的表	[> 0，严重]	集群
ob_cluster_exists_inactive_server	OceanBase 集群存在不工作 OBServer	[> 0，严重]	集群
ob_cluster_frozen_version_delta_over_threshold	OceanBase 集群冻结版本和基线版本的差值超限	[> 1，严重]	集群
ob_cpu_percent_over_threshold	OceanBase 内统计的 CPU 使用率超限	[> 85，严重]	服务器
ob_cpu_assigned_percent_over_threshold	OceanBase 已经分配给租户的 CPU 占比超限	[> 98，注意]	服务器
ob_host_connection_percent_over_threshold	OBServer 连接数百分比超限	[> 80，严重]	服务器
ob_cannot_connected	OBServer 无法连接	[== 0，停服]	服务器
ob_log_alarm	OceanBase 日志告警	告警等级：严重	服务器

应用告警项

告警项名称	说明	触发条件	告警范围
os_cpu_irq_error	服务器 CPU 软中断未打散	[> 3，严重]	服务器
node_file_inode_usage	服务器 inode 使用率过高	[> 80，严重]	服务器
os_tsar_traffic_overload	服务器网卡使用率过高	[> 80，严重]	服务器
os_nic_1000m_hwm	服务器千兆网卡高水位	[> 80，严重]	服务器
os_nic_1000m_full	服务器千兆网卡被打满	[> 92，严重]	服务器
os_tsar_traffic_error	服务器网络收发包出错	[> 5，严重]	服务器
os_tsar_traffic_drop	服务器网络丢包过多	[> 1，严重]	服务器
os_tsar_cpu_util_hwm	服务器 CPU 使用率超限	[> 90，严重]	服务器
os_tsar_cpu_util_full	服务器 CPU 使用率爆满	[> 98，严重]	服务器
os_tsar_cpu_sys_abnormal	服务器 CPU SYS 使用率过高	[> 40，严重]	服务器
node_file_root_usage	服务器根目录使用率过高	[> 95，严重]	服务器
same_alarm_rule_detect_too_many_targets	多个实例触发了同一告警规则	告警等级：警告	服务器
node_load1_peak	服务器负载过高	[> 1.5，严重]	服务器
node_memory_peak	内存使用率过高	[>= 97，严重]	服务器
os_kernel_ntp_delay	服务器 NTP 不同步	[> 50，严重]	服务器
os_kernel_ntp_down	服务器 NTP 服务不存在	[== 0，严重]	服务器
host_agent_res_memory_over_threshold	服务器 Agent 内存超限	[> 1.5，警告]	服务器
host_agent_open_fd_count_over_threshold	服务器 Agent 文件句柄数超限	[> 1000，警告]	服务器
host_agent_goroutine_count_over_threshold	服务器 Agent 协程数超限	[> 3000，警告]	服务器
ocp_local_obproxy_proxyro_user_password_not_same	OCP 节点 local obproxy proxyro 用户密码设置错误	告警等级：警告	服务
ob_cluster_inspection_not_passed	OceanBase 集群巡检未通过	告警等级：警告	服务
host_disk_readonly	服务器磁盘只读	[== 1，严重]	服务器
vpc_connect_failed	用户 VPC 连接失败	[== 0，停服]	服务
ic_server_connect_failed	Inter-Connector 服务端连接失败	[== 0，停服]	服务
partition_create_failed	分区创建失败	告警等级：警告	服务
host_ntp_offset_too_large	服务器与时钟源偏移过大	[> 100，停服] [> 50，严重]	服务器
host_ntp_service_not_exist	服务器时钟同步服务不存在	[== 0，严重]	服务器
monitor_exporter_unavaliable	服务器存在监控 exporter 异常	[== 0，警告]	服务器
obproxy_cannot_connected	OBProxy 无法连接	[== 0，停服]	服务器
obproxyd_process_dead	OBProxy 守护进程不存在	[== 0，停服]	服务器
obproxy_process_dead	OBProxy 进程不存在	[== 0，停服]	服务器
ocp_remote_server_time_diff_too_large	OCP 与远程主机时间差过大	告警等级：停服	服务器
no_enough_exporter	exporter 数量不够	告警等级：停服	服务器
system_obproxy_unavailable	系统 OBProxy 不可用	告警等级：严重	服务
host_unavailable	主机不可用	告警等级：停服	服务器
oms_migrate_delay_over_threshold	OMS 迁移延迟超阈值	告警等级：警告	服务
backup_storage_capacity_timeout_or_interrupted	备份恢复目录容量获取超时或线程被中断	[== 1002，严重]	服务
backup_storage_capacity_retry_times_exceeded	备份恢复容量获取重试次数超限	[== 1001，严重]	服务
backup_storage_capacity_over_threshold	备份恢复容量超过限制	告警等级：严重	服务
base_backup_too_long_time_no_one_success_task	数据备份较长时间没有成功的备份	告警等级：严重	服务
inc_backup_delay	日志备份延迟	告警等级：严重	服务
base_backup_fail	数据备份任务失败	告警等级：严重	服务
backup_process_dead	备份恢复服务离线	告警等级：停服	服务
ob_host_tcp_retrans_percent_over_threshold	服务器 TCP 重传率超限	[> 10，严重]	服务器
ob_host_ssd_wear_indicator_over_threshold	服务器 SSD 使用百分比超限	[> 95，严重]	服务器
ob_host_net_send_percent_over_threshold	服务器网络发送带宽使用率超限	[> 80，警告]	服务器
ob_host_mem_percent_over_threshold	服务器内存使用率超限	[> 95，严重] [> 97，停服]	服务器
ob_host_load1_per_cpu_over_threshold	服务器 CPU 平均 load1 超限	[> 1.5，警告] [> 2，严重]	服务器
ob_host_net_recv_percent_over_threshold	服务器网络接收带宽使用率超限	[> 80，警告]	服务器
ob_host_cpu_percent_over_threshold	服务器 CPU 使用率超限	[> 90，严重]	服务器
obagent_dead	Agent 服务不可用	[== 0，停服]	服务器

有关 OB 告警项和应用告警项的详细介绍和处理方法，请参见对应版本的《OCP 告警参考》中的 OB 告警 和 应用告警 。

OB 告警项

应用告警项

更多