告警规则说明

本文为您介绍哪些情况下 OceanBase 迁移服务（OceanBase Migration Service，OMS）会产生告警。

宕机告警

• 告警对象：部署了 OMS 的机器。

• 判断方式：OMS 在每台部署服务器上有一个 Agent（oms_drc_supervisor），通过 Agent 往 OMS 管控数据库中汇报心跳，然后通过对比心跳时间与当前时间来判断是否存在机器不可用。

• 对业务的影响：如果没有开启 HA 能力会导致相关项目无法正常运行。如果开启 HA 能力会将该机器相关项目迁移到可用机器，如果无可用机器则 OMS 无法正常运行。如果触发了迁移还会触发一个迁移告警，主要是提示用户检查迁移结果。

• 处理方法：

  • 如果是 oms_drc_supervisor 应用中断，可以登录该机器执行 supervisorctl restart oms_drc_supervisor，如果依然失败需要去 /home/admin/logs/supervisor 下查看错误日志。

  • 如果是网络问题等其它原因，需要现场运维干预。

  • 如果是多台机器高可用，您可以开启 enableHost 配置项，执行迁移操作（仅迁移 Full-Import/Incr-Sync，无法处理全量迁移场景）。

OMS 机器水位告警

• 告警对象：部署了 OMS 的机器。

• 判断方式：通过 OMS 在机器上部署的 Agent（oms_drc_supervisor）定期采集机器 CPU、MEM、DISK 使用率判断。

• 对业务的影响：可能导致无法在机器上启动项目，或者迁移同步性能受损。

• 处理方法：在操作之前需要先通过 top 等命令判断占用资源的进程是 OMS 产生的，否则需要采用其他的处理方式。如果是 OMS 产生的可以做以下处理：

  • 新增 OMS 机器。

  • 清理不需要的进程或磁盘文件。

迁移项目失败

• 告警对象：所有迁移项目。

• 判断方式：迁移项目状态显示为失败。

• 对业务的影响：迁移数据没有正常推进。

• 处理方式：处理前需要去迁移项目中查看失败原因，然后进行相应处理。

迁移项目延迟

• 告警对象：所有正在运行的迁移项目，且项目进行到增量迁移阶段的监控状态。

• 判断方式：根据告警中心配置的延迟信息及迁移项目的保障等级得到具体项目的最长延迟时间，项目延迟时间超出预期容忍延迟时间即发送告警。

• 对业务的影响：源端数据（如果是反向则是相反）无法实时同步到目标端。

• 处理方式：需要先保留几个日志信息，再根据日志信息（可以通过查看组件监控查看）进行排查。

  • Store 日志（可以通过查看组件监控中 Store 的最近拉取时间判断 Store 是否延迟）。

  • Writer 日志。

同步项目失败

• 告警对象：所有同步项目。

• 判断方式：同步项目状态显示为失败。

• 对业务的影响：同步数据无法正常运行。

• 处理方式：处理前需要去同步项目中查看失败原因，然后做对应处理。

同步项目延迟

• 告警对象：所有正在运行的同步项目，且项目进行到增量同步阶段的监控状态。

• 判断方式：根据告警中心配置的延迟信息及同步项目保障等级得到具体项目的最长延迟时间，项目延迟时间超出预期容忍延迟时间即发送告警。

• 对业务的影响：源端增量数据无法实时同步到目的端。

• 处理方式：需要先保留几个日志信息，再根据日志信息（可以通过查看组件监控白屏查看）进行排查。

  • 对于存在 Store 同步项目需要查看 Store 日志（可以通过查看组件监控中 Store 的最近拉取时间判断 Store 是否延迟）。

  • Full-Import/Incr-Sync 日志。