backup_storage_capacity_timeout_or_interrupted 备份恢复目录容量获取超时或线程被中断

告警描述

进行备份恢复时需要获取备份存储容量，OCP 与备份服务器之间网络异常等原因造成获取失败时，会进行重试，当获取时间过长或线程被中断时，触发该告警。

告警原理

下表列出了该告警监控逻辑中涉及的关键参数。

监控指标的值是 OCP-Server 监控备份恢复存储容量时采集来的错误码，当监控指标值为 1002 时触发告警。

规则信息

告警信息

告警模板

• 概述模板: ${alarm_target} ${alarm_name}

• 详情模板: 集群：${ob_cluster_name}，告警：${storage_url} ${alarm_name} 获取容量超时或被中断，错误码:${value}

• 概述样例: storage_url=file:///obbackup/yc225_214/inc_data/备份恢复容量获取重试次数超限 获取容量重试次数超限, 错误码:1001.0

• 详情样例: 集群：obcluster-1，告警：file:///obbackup/yc225_214/inc_data/ 获取容量重试次数超限 获取容量超时或被中断，错误码:1001.0

其中，${alarm_target} 的格式为 storage_url=file:///obbackup//yc225_214/inc_data/

对系统的影响

备份恢复页面中的存储容量趋势数据间隔大于半小时甚至无法显示。

可能原因

常见于以下两个原因：

• OCP 与备份服务器之间网络异常

• 备份存储无法访问或者异常。

处理方法

• 确认是否 OCP 与备份存储服务器之间网络故障。

  参考如下命令确认二者是否网络故障。

  #在 OCP 服务器上 ping 备份存储服务器，xxx.xxx.xxx.1 为备份存储主机 IP。
  ping xxx.xxx.xxx.1
  
  #在备份存储服务器上 ping OCP 服务器，xxx.xxx.xxx.2 为 OCP 主机 IP。
  ping xxx.xxx.xxx.2
  

  • 若有返回连续的数据发送信息，则网络正常，可能是其他原因导致告警。

  • 若未返回连续的数据发送信息，则网络故障。

    请联系网络管理员排查具体的网络问题，若无网络管理员请参考 网络故障排查 进行排查并修复。

• 确认是否备份存储目录无法访问。

  1. 登录备份存储服务器。

  2. 参考如下命令查看 admin 用户是否拥有备份存储目录的读权限。

     # /obbackup 为默认的备份存储目录。
     cd / && ll | grep obbackup
     
     #返回如下内容
     drwxrwxrwx   16 root root 4096 Aug 10 14:34 obbackup
     

     • rwxrwxrwx 表示所有用户可读可写可执行。

     • 两个 root 分别表示备份文件存储目录所属用户，及用户的属组。

     非此权限，admin 用户可能无法访问。需用户通过 www.baidu.com 了解 Linux 权限后进行分析。

  3. 若权限不足，可参考如下命令修改备份存储目录的权限，保证其可访问。

     chmod -R 777 /obbackup