备份恢复失败，租户一直处于恢复中

适用版本

OceanBase 数据库 V4.x 版本。

问题描述

例如：把北京的 OSS 备份传输到天津的 OSS 上，对天津的集群进行恢复，无法正常恢复成功，返回报错 -9003 OSS error。

问题原因

1. 在 V4.x 版本恢复失败后，不会再改租户的状态。在 tenant 表里，会一直是 restore 状态（目前 V4.0 不会自动删除恢复失败的租户）。
2. OSS 返回 503 错误的原因和解决方案，参见 503 错误。OSS 实际的带宽读取速度太快导致 OSS 返回 503 了，带宽 1600MB/s，读取速度 600MB/s，QPS 上限 3w6，最高读取到了 3w，所以怀疑是 QPS 打满了。

解决方法

1. 恢复失败租户清理（失败都是需要用户主动去删）：目前需要黑屏进行删除和清理相关的资源池。

   drop tenant xxx force;
   select * from __all_resource_pool;
   DROP RESOURCE POOL IF EXISTS `%s`;
   select * from __all_unit_config;
   DROP RESOURCE UNIT IF EXISTS `%s`;
   

2. 读取速度太快导致 OSS 返回 503，降低参数后能够恢复成功。

   将参数 ha_high_thread_score 设置为 0。