节点日志盘（Clog）空间满

当遇到 clog 日志盘空间满的问题时，集群一般表现为无主选举，写入失败，缺副本等现象。

场景描述

业务写入数据失败，经排查发现后台 clog 日志盘满。

应急处理流程

在不损坏集群数据一致性的前提下修复 clog 盘空间满问题，一般需要遵循以下几个步骤:

1. 主动停止集群的业务写入，防止 clog 盘临时腾挪的空间再次快速被业务写入打满，无法修复。

2. 停止集群写入后，临时调大 clog 盘阈值比例，由 95% 调整到 98%。

   ALTER system SET clog_disk_usage_limit_percentage = 98 server ='[IP 地址]:2882';
   

3. 观察一段时间，多数情况下 clog 追上后，集群可以恢复。查看 clog 是否追平并且是否有 rebuild 任务，可以使用如下 SQL 查询，如果两个查询返回结果都是 0，则副本都已经处于同步状态

   SELECT svr_ip, count(*) FROM __all_virtual_clog_stat WHERE is_offline = 0 and is_in_sync = 0 group by 1; 
   SELECT svr_ip, count(*) FROM __all_virtual_partition_migration_status WHERE action != 'END' group by 1;
   

4. 如果仍未恢复，clog 再次达到 100%，此时可以在落后最多的节点上，手动将 clog 挪走一部分最老的clog 到临时空间。clog 默认位置位于 /data/log1/下面，建议先少量执行100个clog文件的挪动，观察是否在恢复。如果无效，建议不要继续自行操作。联系OceanBase技术支持。

   注意

   • 只能在一个 observer 上操作。

   • 不要删除 clog，而是临时放到其他目录下。

5. 如果集群恢复，可以删除临时空间中的 Clog。如果未恢复，联系 OceanBase 技术支持。