问题现象
日志备份延迟,延迟时间没有增大,也没有卡住,持续慢 9000s 左右。
关键日志信息。
observer.log.20240621235426622:[2024-06-21 23:53:44.509070] INFO [ARCHIVE] statistic (ob_archive_sender.cpp:893) [38511][T1002_ArcSender][T1002][xxxxx-xxxxx-xxxxx-xxxxx] [lt=3] archive_sender statistic in 10s(total_send_log _size=67104768, total_send_buf_size=67104768, total_send_task_count=1, total_send_cost_ts=101465891, avg_task_lsn_size=67104768, avg_task_buf_size=67104768, avg_task_cost_ts=101465891)^M
161 observer.log.20240621235426622:[2024-06-21 23:53:50.058977] INFO [ARCHIVE] statistic (ob_archive_sender.cpp:893) [11739][T1002_ArcSender][T1002][xxxxx-xxxxx-xxxxx-xxxxx] [lt=4] archive_sender statistic in 10s(total_send_log _size=67104768, total_send_buf_size=67104768, total_send_task_count=1, total_send_cost_ts=107027870, avg_task_lsn_size=67104768, avg_task_buf_size=67104768, avg_task_cost_ts=107027870)^M
162 observer.log.20240621235426622:[2024-06-21 23:54:20.397020] INFO [ARCHIVE] statistic (ob_archive_sender.cpp:893) [38512][T1002_ArcSender][T1002][xxxxx-xxxxx-xxxxx-xxxxx] [lt=3] archive_sender statistic in 10s(total_send_log _size=67104768, total_send_buf_size=67104768, total_send_task_count=1, total_send_cost_ts=102816716, avg_task_lsn_size=67104768, avg_task_buf_size=67104768, avg_task_cost_ts=102816716)^M
上述日志表示 10s 大概往 OSS 写了 67 MB 数据,相当于 6.7MB/s。但平均任务处理时间 avg_task_cost_ts= 100s 左右,OSS 带宽或 OSS 写入侧有问题,需要 OSS 侧排查问题。
问题原因
OSS 写入速度慢导致归档落后。
问题的风险及影响
影响日志备份
影响租户
影响 OceanBase 数据库中的 SYS 租户和 Oracle 租户以及 MySQL 租户。
适用版本
OceanBase 数据库 V4.x 版本。
解决方法
确认 OSS 带宽是否足够,异地的 OSS 建议改成同城的。
规避方式
暂无。