分布式执行与并行执行概述

本章节介绍 OceanBase 数据库中 SQL 查询的分布式执行与并行执行机制的概念与它们之间的关系。

概念介绍

OceanBase 数据库是分布式架构，SQL 查询从生成执行计划到运行，涉及三类能力：分布式执行、并行执行（PX）、并行查询。它们的关系如下：

• 分布式执行 (Distributed Execution)：通过 EXCHANGE 算子实现跨节点数据重分布

• 并行执行 (Parallel Execution, PX) 包括

  • 并行查询 (Parallel Query)：即加速 SELECT
  • 并行 DML (Parallel DML)：即加速 INSERT/UPDATE/DELETE
  • 并行 DDL (Parallel DDL)：即加速 DDL 操作

分布式执行

OceanBase 是 Shared-Nothing 架构的分布式数据库，表数据以分区方式存放在不同节点上。当查询涉及跨分区数据时，必然会要求执行计划能够对多个节点的数据进行操作，优化器会自动生成分布式执行计划。

分布式执行计划的核心是 数据重分布：在计划树中插入 EXCHANGE 算子，决定数据如何在节点间流动（如广播、Hash 分发等）。优化器采用两阶段方式生成分布式计划——先生成本地最优计划，再在需要数据重分布的位置插入 EXCHANGE 节点。

详细信息，参见分布式计划的生成、分布式执行计划调度、分布式执行计划管理。

并行执行（PX）

并行执行（Parallel Execution）是将一个较大的任务切分为多个较小的子任务，启动多个 Worker 线程来并行处理，从而利用更多 CPU 与 IO 资源缩短响应时间。并行执行是一个框架性概念，包含三种子类型：

• 并行查询（Parallel Query）：对 SELECT 查询开启并行。
• 并行 DML（Parallel DML）：对 INSERT/UPDATE/DELETE 操作开启并行。
• 并行 DDL（Parallel DDL）：对 DDL 操作（如建表、建索引）开启并行。

并行执行的关键参数是 并行度（DOP，Degree of Parallel），它决定了参与并行处理的 Worker 线程数量。DOP 越大，并行处理能力越强，但消耗的 CPU、IO 和内存资源也越多。

详细信息，参见并行执行概述、并行开启方式及优先级（Auto DOP）。

分布式执行和并行执行的关系

分布式执行和并行执行是两个正交的能力维度，可以独立使用，也可以叠加使用：

叠加使用时，执行计划在每个 DFO（Data Flow Operation）内部都可以启动多个 Worker 并行处理数据，DFO 之间则通过调度器协调执行顺序。

推荐阅读路径

理解执行计划是如何生成的：

1. 分布式计划的生成：介绍两阶段生成过程与 EXCHANGE 算子
2. 分布式执行计划调度：介绍 DFO 调度模型
3. 分布式执行计划管理 ：介绍 Hint 管理

了解如何开启和配置并行：

1. 并行执行概述：PX 框架与分类
2. 并行开启方式及优先级：Auto DOP、Hint、系统变量、Schema DOP
3. 自动并行度 Auto DOP：优化器自动选择并行度

了解并行查询/DML/DDL 如何执行：

1. 并行查询的执行：分区表、非分区表、多表 JOIN 的并行查询
2. 并行 DML：INSERT/UPDATE/DELETE 并行
3. 并行 DDL：DDL 操作并行

调优并行执行的参数：

1. 并行查询的参数调优：并行度变量与 EXCHANGE 配置