无锁结构变更

背景信息

为解决变更数据库表结构时的锁表问题，ODC V4.2.0 及之后的版本提供了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务。本文档旨在介绍如何通过提交无锁变更工单实现数据库无锁结构变更。

原理介绍

1. 创建临时表。

2. 变更临时表结构。

3. 全量拷贝数据。

4. 增量数据同步。

5. 数据一致性校验。

6. Kill Session。

7. 切换新旧表。

执行流程

1. 用户发起无锁结构变更工单。

2. 对用户输入的 SQL 语句进行预检查。

3. 审批任务流程。

4. 执行无锁结构变更任务。

ODC 无锁结构变更支持的变更范围

前提条件

• 表中须存在主键或非空唯一键。

• 表中不存在外键。

• OceanBase MySQL 模式下的表名称不超过 54 个字符，OceanBase Oracle 模式下的表名称不超过 118 个字符。

• ODC 连接 OceanBase 社区版数据库时，配置信息需包含集群名和 SYS 租户账号。

注意事项

• 确保数据库磁盘空间充足。

• 当前表在执行无锁结构变更同时，执行其它 DDL 操作会导致任务失败。

新建无锁结构变更任务

本文以 OceanBase 社区版和企业版 OMS 为例，演示场景为将表 student 中的列 birth 类型修改为 datetime。该示例所使用的项目名称为 odc_4.2.0，数据库名称为 odc_test，表名称为 student。

1. （可选）安装 OceanBase 社区版集群。如已完成集群配置，可跳过此步骤。

   说明

   通过企业版 OMS 创建 OceanBase 数据源时需包含集群名，单机无法创建数据源。具体部署集群的方法请参见 方案二：部署 OceanBase 集群环境。

2. 安装 ConfigServer。ConfigServer 为 OceanBase 和 OBProxy 存取 OceanBase rs_list 的接口, OceanBase 配置 configserver 地址完成后，OceanBase 会自动注册 rs_list 到 config server。

   说明

   通过 OCP（非 OCP-express）部署集群时，可忽略此步骤。 OCP 创建的集群会自动设置 OCP 的地址作为 OceanBase ConfigServer。

3. 安装企业版 OMS。本文以企业版 OMS 为例，您可以通过 Docker 获取，您也可以按需选择社区版 OMS 并完成配置。

4. 部署 Web 版 ODC。

5. 配置 ODC 元数据信息，启用无锁结构变更。

   a. ODC 配置 OMS 信息。

   连接 ODC 的元数据库，配置企业版 OMS 的 URL 和登录授权信息。 oms_url 的构成为 http://${oms_host}: ${oms_port}，oms_authornazition 的构成为 username:password 的 Base64 编码。配置完成后，重启 ODC 使配置的企业版 OMS 信息生效。

   #配置 oms_url
   update config_system_configuration set `value` = '${oms_url}' WHERE `key` = 'odc.osc.oms.url';
   
   #配置 oms_authornazition
    update config_system_configuration SET `value` = '${oms_authornazition}' where  `key` = 'odc.osc.oms.authorization';
   
   #配置 oms_region，例如 cn-anhui
   update config_system_configuration set value = '${oms_region}' where `key` = 'odc.osc.oms.region'
   

   b. 打开无锁结构变更。目前阿里云数据库 OceanBase 已开放无锁结构变更，而对于 OceanBase 社区版，ODC 默认未启用无锁结构变更，需要配置 ODC 元数据库，通过 SQL 语句打开配置。

   ```shell
   update config_system_configuration set value = 'true' where `key` = 'odc.features.task.osc.enabled';
   ```
   

6. 在 ODC 中创建和同步数据源。

   注意

   OceanBase 社区版 ODC 创建数据源时，须配置 sys 租户。
   

7. 创建项目并在项目中添加数据库。

8. 在 SQL 窗口中，编辑 SQL 语句以创建表 student 到数据库 osc_test 中。

   

9. 新建无锁结构变更任务。

   a. 在 任务 页签中单击 无锁结构变更 > 新建无锁结构变更。

   

   b. 在 新建无锁结构变更 页面中，输入以下信息。

   

   信息项	说明
   数据库	选择需变更的数据库。
   变更定义	CREATE TABLE：OceanBasese 不支持的语法需要使用 CREATE 语句。 ALTER TABLE：OceanBasese V4.0.0 及之后的版本，ALTER TABLE OFFLINE 模式可以使用 ALTER 语句。
   SQL 内容	在编辑区中录入 SQL 脚本。
   切换表设置	数据一致后将原表切换为目标表。 锁表超时时间：切换表过程会锁表，超时未切换完成可能导致执行失败。 失败重试次数：超过锁表时间后，未切换完成可自动重试。 完成后源表清理策略：选择 重命名不处理，重命名源表，不删除。选择 立即删除，无锁结构变更完成后删除源表。
   任务设置	选择 立即执行 / 定时执行 设置任务执行方式。 无锁结构变更工具提供两种任务错误处理方式： 停止任务：停止任务为默认方式，运行脚本的过程中出现错误时会停止运行。 忽略错误继续任务：选择忽略错误继续任务方式，在运行脚本出现错后将跳过错误语句继续执行。 选择 自动切换/手动切换 表名。 配置限流策略： 行限流：每秒操作数据总行限制。 数据大小限流：每秒操作数据总大小限制。 注意 仅阿里云数据库 OceanBase 版支持配置限流策略。
   备注	可在 备注 文本框中输入不超过 200 个字符的描述信息，该项为选填项。

   c. 单击 新建，完成新建无锁结构变更。

   d. 任务生成后可以在 工单 > 无锁结构变更 列表中查看任务信息。

   

查看无锁结构变更任务

查看任务信息

1. 在 任务中心 的无锁结构变更列表中，单击操作列中的 查看 按钮。

2. 在弹出的任务详情面板中，单击 任务信息 页签查看所属数据库、任务类型、风险等级、SQL 内容和回滚内容等信息。

   

3. 单击 再次发起，可重新发起无锁结构变更任务。

查看任务流程

在任务详情面板中，单击 任务流程 页签查看发起任务状态、审批状态、执行状态和执行结果等信息。

查看执行记录

在任务详情面板中，单击 执行记录 页签查看 新表和源表 DDL。

查看任务日志

在任务详情面板中，单击 任务日志 页签查看任务的全部日志和告警日志。