tenant_active_memstore_percent_over_threshold OB 租户活跃内存百分比超限

告警描述

OB 租户活跃内存百分比超限时会触发该告警。 活跃内存百分比=已使用活跃内存（active memstore used）/ 触发冻结的阈值（major freeze trigger）。

告警原理

下表列出了该告警监控逻辑中涉及的关键参数。

规则信息

告警信息

告警模板

• 告警概述模板：${alarm_target} ${alarm_name}

• 告警详情模板：集群：${ob_cluster_name}，告警：${alarm_name}，活跃 MemStore 百分比 ${value_shown}， 超过 ${alarm_threshold} %

• 告警概述样例：ob_cluster=obcluster-1:tenant_name=tenant-1:svr_ip=xxx.xxx.xxx.xxx OB 租户活跃内存百分比超限

• 告警详情样例：集群：obcluster-1，告警：OB 租户活跃内存百分比超限，活跃 MemStore 百分比 201.0 %， 超过 200.0 %

对系统的影响

如果触发该告警，OBServer 节点内存有可能会用满，极端场景下业务会停写。

可能原因

当已使用活跃内存量超过冻结阈值时会触发合并 （compaction） 操作，将活跃的内存冻结并转储到磁盘上，释放内存。如果写入速度大于转储速度时，会出现活跃内存占用比超限，来不及转储，从而触发该告警。

处理方法

• 排查是否业务流量太大，如数据导入场景。

  进入 OCP 中该集群的租户界面，选择 SQL 诊断 > TopSQL ，在 TopSQL 界面中查看 SQL 文本量及执行次数是否过大。

  • 是，则是业务流量相对较大。

    参考 限制 OceanBase 集群的流量 对该 OceanBase 集群进行限流。等待 10 分钟后，查看 OCP 上该告警是否消除，若还未消除则可能是其他原因。

  • 否，其他原因导致的告警触发。

• 排查转储或合并是否存在异常，

  这类异常通常可以通过重启 OBServer 节点恢复，重启 OBServer 节点可参考 重启 OBServer 节点 。

• 排查磁盘写入是否存在问题。

  如果确认业务流量正常且重启 OBServer 节点后仍存在转储或合并卡主的问题，则可能是磁盘写入存在问题，比如磁盘坏了，或者磁盘写入速度很慢。

  磁盘故障，可参照 OceanBase 集群合并异常处理 进行处理。