三节点 OBServer 启动后无法连接的原因和解决方法

问题现象

该问题可能会有多种表象，但是不同的现象可能是相同的原因导致的。

• 内存爆。

• 转储卡住。

• 合并卡住。

问题原因

NFS（网络文件系统）盘满导致数据备份一直重试，导致一直保留快照（__all_acquired_snapshot）导致 SSTable 数据一直无法回收，随着不断转储，SSTable 数量过多，导致无法转储，导致租户内存爆，进而导致一系列问题。

关键信息

触发条件

NFS 盘满或者其他外部条件导致备份一直无法成功或者备份线程挂住。

事前巡检

1. 检查数据备份运行时间。

2. 检查备份介质 NFS（网络文件系统），监控 NFS（网络文件系统）存储剩余容量。

事后诊断

查询备份是否在运行以及是否有保留快照。

问题的风险及影响

影响系统稳定性，可能导致系统重启后无法连接。

影响租户

影响 OceanBase 数据库中的 SYS 租户和 Oracle 租户以及 MySQL 租户。

适用版本

OceanBase 数据库 V3.x 版本。

解决方法及规避方式

• 解决方法：

  使用普通的 cancel backup命令，这个命令不会导致日志归档断流。

  alter system cancel backup;
  

  或者执行 force cancel 命令，这个命令会导致日志归档断流，此命令建议在 NFS hung 住情况下使用。

  alter system cancel all backup force;
  

  如果 cancel 不了，请咨询 OceanBase 数据库技术支持团队。

• 规避方式：

  • 在有对象存储可以使用的情况下，避免使用 NFS（网络文件系统）。

  • 如果使用 NFS（网络文件系统），NFS（网络文件系统）磁盘空间告警需要及时处理，不要等到磁盘空间满时，再处理数据备份的问题。