告警规则说明

本文介绍哪些情况下 OMS 社区版会产生告警。

宕机告警

• 告警对象：部署了 OMS 社区版的机器。

• 判断方式：OMS 社区版在每台部署服务器上有一个 Agent（oms_drc_supervisor），通过 Agent 往 OMS 社区版管控数据库中汇报心跳，然后通过对比心跳时间与当前时间来判断是否存在机器不可用。

• 对业务的影响：如果没有开启 HA 能力会导致相关任务无法正常运行。如果开启 HA 能力会将该机器相关任务迁移到可用机器，如果无可用机器则 OMS 社区版无法正常运行。如果触发了迁移还会触发一个迁移告警，主要是提示用户检查迁移结果。

• 处理方法：

  • 如果是 oms_drc_supervisor 应用中断，可以登录该机器执行 supervisorctl restart oms_drc_supervisor，如果依然失败需要去 /home/admin/logs/supervisor 下查看错误日志。

  • 如果是网络问题等其它原因，需要现场运维干预。

  • 如果是多台机器高可用，您可以开启 enableHost 配置项，执行迁移操作（仅迁移 Full-Import/Incr-Sync，无法处理全量迁移场景）。

OMS 社区版机器水位告警

• 告警对象：部署了 OMS 社区版的机器。

• 判断方式：通过 OMS 社区版在机器上部署的 Agent（oms_drc_supervisor）定期采集机器 CPU、MEM、DISK 使用率判断。

• 对业务的影响：可能导致无法在机器上启动任务，或者迁移同步性能受损。

• 处理方法：在操作之前需要先通过 top 等命令判断占用资源的进程是 OMS 社区版产生的，否则需要采用其他的处理方式。如果是 OMS 社区版产生的可以做以下处理：

  • 新增 OMS 社区版机器。

  • 清理不需要的进程或磁盘文件。

迁移任务失败

• 告警对象：所有迁移任务。

• 判断方式：迁移任务状态显示为失败。

• 对业务的影响：迁移数据没有正常推进。

• 处理方式：处理前需要去迁移任务中查看失败原因，然后进行相应处理。

迁移任务延迟

• 告警对象：所有正在运行的迁移任务，且任务进行到增量迁移阶段的监控状态。

• 判断方式：根据告警中心配置的延迟信息及迁移任务的保障等级得到具体任务的最长延迟时间，任务延迟时间超出预期容忍延迟时间即发送告警。

• 对业务的影响：源端数据（如果是反向则是相反）无法实时同步到目标端。

• 处理方式：需要先保留几个日志信息，再根据日志信息（可以通过查看组件监控查看）进行排查。

  • Store 日志（可以通过查看组件监控中 Store 的最近拉取时间判断 Store 是否延迟）。

  • Writer 日志。

同步任务失败

• 告警对象：所有同步任务。

• 判断方式：同步任务状态显示为失败。

• 对业务的影响：同步数据无法正常运行。

• 处理方式：处理前需要去同步任务中查看失败原因，然后做对应处理。

同步任务延迟

• 告警对象：所有正在运行的同步任务，且任务进行到增量同步阶段的监控状态。

• 判断方式：根据告警中心配置的延迟信息及同步任务保障等级得到具体任务的最长延迟时间，任务延迟时间超出预期容忍延迟时间即发送告警。

• 对业务的影响：源端增量数据无法实时同步到目的端。

• 处理方式：需要先保留几个日志信息，再根据日志信息（可以通过查看组件监控白屏查看）进行排查。

  • 对于存在 Store 同步任务需要查看 Store 日志（可以通过查看组件监控中 Store 的最近拉取时间判断 Store 是否延迟）。

  • Full-Import/Incr-Sync 日志。