PX 并行查询因 RPC 连接失败被中断，导致 RT 抖动和会话数突涨

问题现象

客户反馈在凌晨 02:26 至 02:29 期间，业务出现 RT 突增抖动、会话数突涨的现象。

现场排查发现，相关日志中出现以下关键信息：

• 4265：Rpc connect error
• -4662：PX ABORT DFO

日志显示在 PX 并行执行过程中，系统广播了 PX 中断消息（PX ABORT DFO）。

同时，工单信息中可定位到具体 SQL：

• sql_id: 514FB6251006E295866FE26B2C4072A7
• TraceID: YB420A84A535-000637A31F954639-0-0

说明该问题发生在某条特定 SQL 的 PX 并行执行过程中。

问题原因

该问题本质上是 PX 并行执行过程中某个 worker 所在节点发生瞬时异常，导致 RPC 建连失败，进而触发 PX 中断机制。

具体原因链路如下：

1. 某个 OBServer 节点出现瞬时异常（如网络抖动、瞬时负载升高、节点短暂不可达、短时重启/卡顿等）。
2. PX 执行过程中，与该节点的 RPC 建立连接失败。
3. 报错 4265 (Rpc connect error)。
4. PX 框架检测到某个 worker 连接失败。
5. 主动触发 -4662 (PX ABORT DFO)，向所有 PX worker 广播中断消息。
6. 正在运行的并行查询被中断。
7. 查询出现阻塞、等待重试或重新执行。
8. 最终表现为 RT 突增、会话数突涨。

因此，这不是典型的持续性资源瓶颈问题，而更像是一次网络或节点侧的瞬时故障引发的并行查询中断。

关键信息

诊断该问题的关键信息如下：

关键日志

success to send interrupt message(int_code={code:-4662, info:{msg:"...PX ABORT DFO"}}...)

说明 PX 中断消息已经成功广播，属于 PX 框架的标准保护动作。

错误码含义

• 4265 = Rpc connect error
  表示 RPC 建立连接失败，通常由网络异常或目标节点瞬时不可达导致。
• -4662 = PX ABORT DFO
  表示 PX 并行执行框架主动中断 DFO，属于保护性中断机制，不是最终根因，而是上游 RPC 异常触发后的结果。

关键 SQL / Trace 信息

• sql_id: 514FB6251006E295866FE26B2C4072A7
• TraceID: YB420A84A535-000637A31F954639-0-0

问题的风险及影响

• 并行查询被中断：特别是使用 PX 的分布式查询，容易因单个节点异常被整体打断。

适用版本

• OceanBase 4.3.5BP2hf1（oceanbase-4.3.5.2-102010032025052623）

解决方法

该问题属于瞬时故障触发，现场通常会在异常消失后自动恢复。

规避方式

1. 加强 OBServer 节点间网络稳定性：减少 RPC 瞬时超时或连接失败的概率。
2. 重点关注高并发 PX SQL：对核心 SQL 做执行计划审查，避免过度依赖跨节点 PX。