OBServer 重启失败问题的排查步骤

本文主要介绍排查 OBServer 重启失败问题的步骤。

适用版本

OceanBase 数据库所有版本

排查步骤

1. 检查重启失败的 OBServer 是否与其他节点的时钟同步。

   其中 $IP 表示其他 OBServer 的 IP 地址，OceanBase 数据库要求各 OBServer 间的延迟不超过 200 ms。

   [root@hostname /]# ntpdate $IP
   

2. 排查 RootService 是否启动异常。

   查询 __all_virtual_core_meta_table 表，如果返回空集，则说明 RootService 异常。

   obclient> SELECT * FROM __all_virtual_core_meta_table;
   

3. 排查集群心跳是否异常。

   1. 根据 rootservice.log 日志定位发生故障的 OBServer。

   2. 在故障 OBServer 搜索 observer.log 日志，如果有返回值，说明存在心跳异常。

      [admin@hostname log]$ grep "renew_lease" observer.log
      

4. 检查机器 Schema 是否存在刷新异常。

   搜索 observer.log 日志，如果有返回值，说明 Schema 刷新异常。

   [admin@hostname log]$ grep "REFRESH_SCHEMA" observer.log
   

5. 排查是否存在 Clog 回放慢的问题。

   通过搜索 observer.log 日志，如果存在下图所示的信息，则说明是由于 Clog 回放慢造成的重启失败。

   [admin@hostname log]$ grep "NOTICE" observer.log