基于湖库一体架构,统一管理结构化、半结构化与非结构化等多模态数据,一个系统承载事务处理、实时分析与 AI 工作负载。
存在热点行数据
更新时间:2023-12-19 09:16
本文为您介绍存在热点行数据的解决方法。
适用场景
适用于除 DDL 频繁执行、DDL 执行慢阻塞项目运行 和 Oracle 前镜像不包含所有 UK 值 外的全部场景。
适用版本
适用于 OceanBase 迁移服务(OceanBase Migration Service,OMS)V4.1.0 及之后版本。
问题描述
数据迁移项目出现 workerNum 低、Sink RPS 低、Store 位点不延迟、Connector 位点延迟或位点推进慢等问题。
可能原因
可能存在某些表一直在更新热点行数据的情况。您可以通过以下操作进行确认:
进入目标项目的详情页面。
登录 OMS 控制台。
在左侧导航栏,单击 数据迁移。
在项目列表页面,单机目标项目的名称,进入详情页面。
单击页面右上角的 查看组件监控。
在 查看组件监控 对话框,单击 Incr-Sync 增量同步组件 后的 查看日志,默认进入 connector.log 页签。
在 *connector.log 页签,搜索
conflict关键字,查看冲突的表(例如下图的mock_database.update_test),并确认该表是否一直在更新某些热点行数据。
解决方法
进入目标项目的详情页面。
单击页面右上角的 查看组件监控。
在 查看组件监控 对话框,单击 Incr-Sync 增量同步组件 后的 更新。
在 更新配置 对话框,新增或更新参数
hotKeyMerge的配置为true。如果您需要新增参数
hotKeyMerge,请进行以下操作:在 更新配置 对话框,鼠标悬停至
coordinator参数旁边的空白处,单击添加图标。
输入需要添加的 Key Name 为
hotKeyMerge,单击对号。
在 更新配置 对话框,找到新增的 Key Name,其默认值为 NULL。
鼠标悬停至新增参数,单击显示的编辑图标。

修改参数值为
true,单击确认图标。
如果您需要更新参数
hotKeyMerge,请进行以下操作:在 更新配置 对话框,鼠标悬停至
coordinator模块下的hotKeyMerge参数,单击显示的编辑图标。在文本框中修改参数值为
true后,单击确认图标。绿色的对号表示更新数值,红色的叉号表示取消修改。
在 更新配置 对话框,单击 确定。
完成更新后,您可以通过以下方式进行验证。
单击目标项目详情页面右上角的 查看组件监控,进入 Incr-Sync 增量同步组件 > 查看日志 > connector.log 页签,搜索
try to merge关键字。
单击目标项目详情页面右上角的 查看组件监控,进入 Incr-Sync 增量同步组件 > 查看日志 > msg/metrics.log 页签,确认 workerNum、Sink RPS 比之前有所提高,位点推进变快。