500 租户 ArcClogTask 模块内存占用较高

适用版本

OceanBase 数据库 V2.x、V3.x 版本。

问题说明

OceanBase 集群使用机械盘来做 NFS 物理备份，日志归档延迟高甚至卡住。

同时 500 租户 ArcCLogTask 模块的内存占用快速增高。

停止日志归档后，ArcCLogTask 内存占用得以释放。

问题原因

• 日志归档缓慢的原因：OCP 使用 du 命令来采集备份磁盘的空间使用情况。当备份机械盘的性能较差，频繁的 du 命令执行发生拥堵、积压，导致 NFS 的性能问题，从而影响正常的日志归档。

• ArcClogTask 内存占用较高的原因：ArcClogTask 是为冷分区（没有日志写入的分区）推进归档进度产生的，冷分区完成归档后该任务线程会被释放。当 NFS 因为 du 命令卡住后，ArcClogTask 不能释放；而由于归档卡住，归档位点不推进，OBServer 会持续生成新的 ArcClogTask 来推动冷分区任务，当冷分区数量较多时，会持续产生大量的 ArcClogTask 任务，占用较高的内存。

解决方法

• 降低 OCP 使用 du 命令进行备份空间统计的频率，或者禁止进行备份空间统计的采集。

  • 参考 《du 指令 hang 住导致主机不可用告警》中提供的方法来进行相应的配置。

• 替换机械盘，使用高性能磁盘来做 NFS 备份介质。