问题现象
在仲裁节点上 observer.log 进程日志一直在刷如下的这个报错,且刷新频率很高,导致根目录磁盘空间很快被耗光。
[2024-09-04 07:00:03.565002] ERROR issue_dba_error (ob_log.cpp:1875) [542741][ArbNorRpcTh2][C17171[T1][xxxxx-xxxxx-xxxxx-xxxxx] [lt=70][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-4016, file="election_impl.cpp", line_no=511, info="ls_biggest_min_cluster_version_ever_seen_ greater than arb binary version")
问题原因
升级业务 OceanBase 集群的时候忘记升级关联的仲裁节点了,导致仲裁的版本号低于业务 OceanBase 集群,进而产生了大量的这种日志。OCP 本身不会拦截这种升级顺序问题,需要在运维时多加注意。
问题的风险及影响
observer.log 日志刷新很快,导致磁盘空间被耗光。
适用版本
OceanBase 数据库 V4.1.0 及更高的版本。
解决方法
如果 OceanBase 集群关联了仲裁服务,那么在进行 OceanBase 集群版本升级时,需要确保先升级仲裁服务版本,然后再升级 OceanBase 集群版本。仲裁服务版本升级的详细信息,请参见:升级仲裁服务。 可以使用系统租户查询视图 oceanbase.DBA_OB_ARBITRATION_SERVICE 检查本 OceanBase 集群是否关联仲裁服务。
-- 需要先连接到系统 SYS 租户
MySQL [oceanbase]> SELECT * FROM oceanbase.DBA_OB_ARBITRATION_SERVICE;
+---------------------+---------------------+-------------------------+---------------------+------------------------------+------+
| CREATE_TIME | MODIFY_TIME | ARBITRATION_SERVICE_KEY | ARBITRATION_SERVICE | PREVIOUS_ARBITRATION_SERVICE | TYPE |
+---------------------+---------------------+-------------------------+---------------------+------------------------------+------+
| 2023-06-26 19:30:19 | 2023-06-30 09:42:40 | default | xx.xx.xx.xxx:2882 | | ADDR |
+---------------------+---------------------+-------------------------+---------------------+------------------------------+------+
1 row in set
规避方式
无。