备份期间持有 tablet handle 引用计数导致 MemStore 不释放导致租户内存使用飙高

问题现象

数据备份期间，同时伴随大量写入压力，租户的 MemStore 使用百分比持续飙高，并且维持在高水位不下降，并且出现写入限流的情况。

关键诊断信息

触发条件

数据备份期间有大量写入压力。

事前巡检

确认如果有大量写入压力期间是否有数据备份，并且租户 MemStore 使用百分比是否超过 70%。

SELECT svr_ip, svr_port, tenant_id, percent
FROM (    
    SELECT svr_ip, svr_port, tenant_id, (memstore_used / memstore_limit) AS percent
    FROM __all_virtual_tenant_memstore_info 
) AS subquery
WHERE percent > 0.70;

事后诊断

搜索关键日志信息 it costs too much time from release to destroy，如果出现 cost_time 超过 1s，可以认为是备份 Hold MemTable 导致。

问题原因

备份期间会增加需要备份的 tablet 的引用计数，导致如果这个 tablet 没有备份完，可能导致对应的 MemStore 无法被释放。

问题的风险及影响

MemStore 使用百分比持续飙高，可能导致用户写入限流，影响业务稳定性。

影响租户

影响 OceanBase 数据库中的 SYS 租户和 Oracle 租户以及 MySQL 租户。

影响版本

OceanBase 数据库企业版 V4.1.0 GA（oceanbase-4.1.0.0-100001122023040322）及之后版本、V4.2.0 GA（oceanbase-4.2.0.0-100010082023083014）及之后版本、V4.2.1 GA（oceanbase-4.2.1.0-100000182023092722）及之后版本、V4.2.2 GA（oceanbase-4.2.2.0-100000082024011317）及之后版本、V4.3.0（oceanbase-4.3.0.0-100000072024020200）及之后版本。

解决方法及规避方式

• 解决方法：

  • 升级至问题已修复版本。目前已修复的版本包括 OceanBase 数据库企业版 V4.2.1 BP7（oceanbase-4.2.1.7-107000112024052920）版本及之后版本、V4.2.4（oceanbase-4.2.4.0-100000252024070621）及之后版本、V4.3.1（oceanbase-4.3.1.0-100000212024051522）及之后版本。

  • 如果在备份期间 MemStore 使用满，可以使用 alter system cancel backup 命令来使备份退出。

• 规避方式：

  尽量避免在业务高峰期进行数据备份。