数据备份报错 -9129 且日志中有 IO 限流报错的诊断方法

问题现象

备份任务失败，CDB_OB_BACKUP_JOB_HISTORY 中备份任务报错 -9129（object storage io error）。报错日志中有IO限流相关说明：code=429, exception="RequestRateLimitExceeded", err_msg="Unable to parse ExceptionName: RequestRat eLimitExceeded Message: Your request rate is too high. We have put limits on your bucket."。

关键信息

• 备份任务报错代码：-9129 (object storage io error)，搜索日志中有 IO 限流相关说明。

  根据 CDB_OB_BACKUP_JOB_HISTORY 中给出任务执行信息，到执行任务失败的节点上搜索任务失败时间附近的 trace_id 日志里对象存储返回的 err_msg。

  grep "[trace_id]" observer.log.xxxxx | grep "err_msg"
  

  

  对应上图显示是接近 2025-11-14 17:21:02 时在节点 xxx.xxx.xxx.xxx:2882 上报的错。根据 trace_id:YBxxxxx-xxxxxxxx-xxxxxxxx-xxxxxxxx 执行 grep "YBxxxxx-xxxxxxxx-xxxxxxxx-xxxxxxxx" observer.log.202511141720* | grep "err_msg"，可以看到具体的对象存储访问失败的原因为 code=429, exception="RequestRateLimitExceeded", err_msg="Unable to parse ExceptionName: RequestRat eLimitExceeded Message: Your request rate is too high. We have put limits on your bucket."。

  

• 在数据库管理平台的性能监控中观察对应时间段的 IO 备份 IO 写入大小和备份 IO 写入次数。

• 咨询云服务厂商具体当前 Bucket 的写入带宽和 IO 次数限制，并咨询 Bucket 被 IO 限流的原因。

• 比对云服务厂商给出限流原因和性能监控中的统计结果，判断是否符合限流预期。

  

问题原因

多个节点同时执行备份任务，导致 OBServer 节点写入 Bucket 速率达到 Bucket 的写入带宽上限，触发 IO 限流，造成备份任务失败。

问题的风险及影响

对象存储 Bucket IO 限流导致备份任务失败。

适用版本

OceanBase 数据库 V4.x 版本。

解决方法

1. 与云服务提供商沟通，请求增加 Bucket 的写入带宽上限或 IO 请求次数上限。

2. 通过执行 ALTER SYSTEM SET ha_low_thread_score = N tenant = 租户名;（N 指单节点备份任务并发度）命令适当调小备份任务的并发度，减少同时写入 Bucket 的数据量。

3. 经过上述调整后，重新发起备份任务。

规避方式

1. 确保 Bucket 的写入带宽上限能够满足备份需求。

2. 根据 Bucket 带宽及 IOPS 限制情况设置合理的并发情况（ALTER SYSTEM SET ha_low_thread_score = N tenant = 租户名; N 为单节点任务并发度）。