日志备份延迟的原因和解决方法

问题现象

OCP 告警信息。

集群： xxx_obcluster01[100002]，租户：*，主机： xxx.xxx.xxx.xxx，告警： 日志备份延迟 1562 秒，超过警告阈值： 1200 秒，日志备份位点： 2024-05-30T5:51:59.398143+08:00，当前时间： 2024-05-30T16:18:01.312066+08:00。

另外观察到日志备份延迟，但 66 节点是正常的，期间 65 节点有一段时间是 inactive 的，65 节点异常导致 66 节点的日志备份延迟。

关键日志信息。

[2024-05-30 15:52:19.246654] WARN [RS] try_update_backup_piece_ (ob_log_archive_scheduler.cpp:1875) [11442][710][xxxxx-xxxxx] [lt=9] [dc=0] cannot freeze backup piece when server not all alive(ret=0, inactive_server_count=1)

问题原因

该备份开启的有日志分片，从下面日志可以看出，当进行冻结分片的时候，需要所有节点的状态都是正常的，当时 65 节点 inactive，导致冻结 piece 失败，进而导致日志备份延迟。

问题的风险及影响

日志备份延迟。

影响租户

影响 OceanBase 数据库中的 SYS 租户和 Oracle 租户以及 MySQL 租户。

适用版本

OceanBase 数据库 V3.x 版本。

解决方法及规避方式

• 解决方法：

  拉起异常节点的 OBServer。

• 规避方式：

  当 OCP 告警有节点异常时应及时处理。