大规模分区（百万分区）场景下物理恢复时间异常增长问题说明

问题现象

在 OceanBase 数据库 V4.x 版本环境中，当集群存在大规模分区表（例如分区数量超过 10 万）时，执行物理恢复操作会出现耗时显著增加的现象。

具体表现：

• 恢复操作未报错，但整体恢复时间远超预期（例如小时级甚至天级）。

• 恢复过程中，观测到磁盘 I/O 压力较高，但 CPU 和内存资源未达到瓶颈。

• 问题排查时因缺乏明确日志指示，难以快速定位瓶颈点。

关键信息

通过 SQL 查询备份 I/O 性能指标，判断是否为存储性能问题（辅助判断方法）。

执行以下 SQL，计算每个 I/O 请求的平均延迟（delay_ms_per_count）。

SELECT
    d.tenant_id,
    d.svr_ip,
    d.svr_port,
    CASE
        WHEN c.value = 0 THEN NULL 
        ELSE d.value / c.value / 1000
    END AS delay_ms_per_count
FROM (
    SELECT *
    FROM __all_virtual_sysstat
    WHERE name LIKE '%BACKUP_IO_READ_DELAY%'
) d
JOIN (
    SELECT * 
    FROM __all_virtual_sysstat
    WHERE name LIKE '%BACKUP_IO_READ_COUNT%'
) c
    ON d.tenant_id = c.tenant_id
    AND d.svr_ip = c.svr_ip
    AND d.svr_port = c.svr_port;

结果解读：

• 若 delay_ms_per_count > 100 ms：表明备份介质 I/O 延迟较高，需优化存储性能。

• 若 delay_ms_per_count < 1ms：延迟较低，瓶颈可能为分区数量过多导致元数据操作耗时。

问题原因

1. 分区数量与元数据操作耗时直接相关。

   OceanBase 数据库物理恢复过程中需要重建分区元数据，当分区数量极大时，元数据序列化/反序列化、校验等操作会显著增加恢复耗时。

2. 备份介质性能瓶颈。

   恢复速度受备份存储的 I/O 性能（如 RT、IOPS 上限）限制。若备份介质响应延迟高，会成为恢复操作的主要瓶颈。

问题的风险及影响

1. 业务恢复时间不可控： 恢复耗时过长可能导致业务中断时间超出 RTO 要求。

2. 资源浪费风险： 恢复期间持续占用 I/O 和计算资源，可能影响其他在线业务。

3. 运维复杂度增加： 缺乏明确日志指引时，需依赖经验排查，延长故障恢复周期。

影响租户

影响 OceanBase 数据库中的 SYS 租户和 Oracle 租户以及 MySQL 租户。

适用版本

OceanBase 数据库 V4.2.x 版本。

解决方法

优化备份介质性能：

• 使用高性能存储（如 SSD），提升 IOPS，降低 I/O 延迟。

• 检查备份存储网络带宽，确保无拥塞或链路问题。

规避方式

1. 分区设计优化。

   在业务设计阶段，避免单表分区数量过大。

2. 备份存储选型建议。

   物理恢复前验证备份介质性能（可以使用 ObAdmin 性能测试工具测试性能），建议要求单 I/O 延迟低于 100ms，IOPS 能力与分区数量匹配。

3. 监控与日志增强。

   • 开启物理恢复全量日志（需提前配置日志级别），记录元数据操作耗时明细。

   • 定期执行上述诊断 SQL，监控备份 I/O 性能趋势。