ob_tenant_cpu_usage_over_threshold OceanBase 租户 CPU 使用率超限

告警描述

该指标最接近租户真实 CPU 使用率（租户 CPU 使用量*100/租户 CPU 分配量），告警 tenant_cpu_percent_over_threshold 和 ob_cpu_percent_over_threshold 实际是租户线程使用率。

该告警需同时满足 OBServer 版本和 OCP 版本要求：

1. OBServer 版本：V3.2.3 BP10、V3.2.4 BP5、V4.1 BP3、V4.2.0 及之后版本。
2. OCP 版本：V4.2.2 及之后版本。

告警原理

规则信息

告警信息

告警模板

• 告警概述

  • 模板：${alarm_target} ${alarm_name}
  • 样例：alarm_template_id=0:ob_cluster=TEST-1:tenant_name=t1:host=xxx.xxx.xxx.xxx OceanBase 租户CPU使用率超限

• 告警详情

  • 模板：集群：${ob_cluster_name}，租户：${tenant_name}，告警：${alarm_name}。租户 CPU 使用率 ${value_shown} 超过 ${alarm_threshold} %。
  • 样例：集群：TEST，租户：t1，告警：OceanBase 租户 CPU 使用率超限。租户 CPU 使用率 96% 超过 95 %。

对系统的影响

租户 CPU 使用率高应结合具体业务场景分析，如果 CPU 使用率超过限定值，可能的影响包括：

1. 业务 SQL rt 升高，影响业务响应时间。
2. 租户繁忙，可能导致 SQL 处理超时，影响业务。

可能原因

• 可能存在慢 SQL，可通过 SQL 诊断查看 TopSql，通过 CPU 占比分析出导致 CPU 飙高的具体 SQL。

• SQL 性能下降或执行计划恶化，OCP 会有此类 SQL 的告警：

  • oas_anomaly_sql_from_sql_inspection_plan_changed
  • oas_anomaly_sql_from_sql_inspection_perf_degradation
  • oas_anomaly_sql_from_anomaly_event_analysis_plan_changed
  • oas_anomaly_sql_from_anomaly_event_analysis_perf_degradation
  • oas_anomaly_sql_from_anomaly_event_analysis_cpu_percent_high

• 存在大事务、大查询等，可通过查看租户的性能监控定位。

• 业务并发高导致 CPU 偏高。

处理方法

1. 如果存在 SQL 问题，可以根据 SQL 诊断的建议优化 SQL。
2. 如果业务中存在大查询、大事务等消耗 CPU 的查询，则需结合业务分析。
3. 如果业务并发高，平时租户 CPU 偏高，则可尝试为租户扩容。