ob_cluster_inspection_not_passed OB集群巡检未通过告警处理建议

告警描述

该告警监测集群 "按时间列的分区可用性检查" 的巡检是否通过，如果未通过，则触发该告警。

告警原理

用户配置"按时间列的分区可用性检查"的巡检，每个巡检周期会发起一次对目标集群的巡检。检查目标集群内所有一级分区（无二级分区）列为 datetime、date 类型的分区，当所有可用分区的最大值，不足以覆盖从检查起之后的 preCreateDays 天，则检查失败并触发告警。

规则信息

告警信息

告警模板

• 告警概述模板：${alarm_target} ${alarm_name}

• 告警详情模板：集群：${ob_cluster_name}，告警：OB 集群巡检 ${rule} 未通过，${message}

• 告警概述样例：rule=时间列分区巡检告警:ob_cluster=obcluster-1 OB 集群巡检未通过

• 告警详情样例：集群：obcluster-1，告警：OB 集群巡检 时间列分区巡检告警 未通过，Date partitioning table inspection failed

对系统的影响

若分区表无可用分区，将无法写入新数据，影响业务可用性。一般会对分区守护，提前创建好分区。

可能原因

1. preCreateDays 的参数设置不合理。

   若不同集群的 preCreateDays 值应该根据其实际情况设置，可以为每个集群创建单独的巡检脚本，并配置不同的巡检阈值；避免误告警。

2. 分区表无预期的可用分区。

处理方法

1. 确认告警集群的 preCreateDays 参数设置合理。

   根据该集群业务规模，设置合理的 preCreateDays。

   修改 preCreateDays 值后，如告警不再上报，则问题解决；如告警依然存在，请继续执行下述操作。

2. 检查是否有预期可用的分区。

   1. 执行如下命令查看告警详情中提到的表是否有预期分区。

      show create table  
      ORACLE_RANGE_PART_DATE_001 
      ;
      

      ORACLE_RANGE_PART_DATE_001 为巡检不通过的表，请按实际情况替换。返回如下结果：

      CREATE TABLE ORACLE_RANGE_PART_DATE_001 (log_date date NOT NULL) PARTITION BY RANGE(log_date) (
        PARTITION D20211209
        VALUES
          LESS THAN(date '2021-12-09')
      );
      

      • 如无预期分区，则执行步骤 2.b 添加分区。

      • 如有预期分区，则可能是其他原因导致，建议跳转到步骤 3。

   2. 执行如下命令添加分区。

      alter table
        ORACLE_RANGE_PART_DATE_001
      
      add
        partition D20211210
      VALUES
        LESS THAN(date '2021-12-10');
      

      观察告警是否继续上报，若未上报，则问题解决；若依然上报，则跳转到步骤 3。

3. 若上述方法均不能使告警自动消除，则联系技术支持人员帮忙排查。