--- title: "迁移 Hive 的数据至 OceanBase 社区版 | OceanBase 文档中心" description: 迁移 Hive 的数据至 OceanBase 社区版 本文为您介绍如何使用 OceanBase 迁移服务（OceanBase Migration Service，OMS）社区版迁移 Hive 数据库的数据至 OceanBase 社区版。 背景信息 OceanBase 迁移服务（OceanBase Migration … --- 切换语言 - 中文站 - 简体中文 - International - English - 日本站 - 日本語 文档反馈![](https://mdn.alipayobjects.com/huamei_22khvb/afts/img/A*L03BS6f-o40AAAAAAAAAAAAADiGDAQ/original) 迁移服务 OMSV 4.2.9 社区版 # 迁移 Hive 的数据至 OceanBase 社区版 更新时间：2026-04-14 15:36:17 [编辑](https://github.com/oceanbase/oms-doc/edit/V4.2.9/zh-CN/600.data-migration/1401.create-a-task-to-migrate-data-from-hive-to-ob.md) 本文为您介绍如何使用 OceanBase 迁移服务（OceanBase Migration Service，OMS）社区版迁移 Hive 数据库的数据至 OceanBase 社区版。 ## 背景信息 OceanBase 迁移服务（OceanBase Migration Service，OMS）社区版对于 Hive 数据迁移实现了以下三种方式。 - Hive 外表模式：通过 Hive 外表实现 Hive 的数据迁移至 OceanBase 社区版。 - Spark 本地模式：在 OMS 社区版的同步进程内部启动 Spark 容器，在该 Spark 容器中执行 Hive 的数据写入至 OceanBase 社区版。 - Spark 集群模式：OMS 社区版的同步进程向 Spark 集群提交任务，在该任务中实现 Hive 的数据写入至 OceanBase 社区版。 ## 使用限制 - **源端数据库的操作限制** **请勿在全量迁移阶段执行库或表结构变更的 DDL 操作，否则可能造成数据迁移任务中断。** - 目前支持的 Hive 数据库版本为 V2.1.1 和 V3.1.3。 - 目前 Hive 数据库至 OceanBase 社区版的数据迁移任务仅支持全量迁移。 - 数据源标识和用户账号等，在 OMS 系统内全局唯一。 - OMS 社区版仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括 |"'`()=;/& 和换行）的对象。 - 建议您一次性迁移的表数量不超过 1000 张，避免影响数据迁移任务的运行。 ## 数据类型映射 | Hive 数据库 | OceanBase 社区版 | | --- | --- | | TINYINT | TINYINT | | SMALLINT | SMALLINT | | INT | INT | | BIGINT | BIGINT | | BOOLEAN 可选值包括 `true` 和 `false`。 | BOOLEAN/TINYINT(1) 可选值包括 0 和 1。 | | FLOAT | FLOAT | | DOUBLE | DOUBLE | | DECIMAL | DECIMAL | | STRING | LONGTEXT/TINYTEXT/MEDIUMTEXT/TEXT/VARCHAR/CHAR 您可以根据实际情况决定具体映射到 OceanBase 社区版的数据类型。 | | VARCHAR | VARCHAR | | CHAR | CHAR | | TIMESTAMP | TIMESTAMP | | TIMESTAMP WITH LOCAL TIME ZONE | TIMESTAMP - Hive 外表模式支持该类型，但时区信息会被丢弃。如果您不想丢弃时区信息，请将 OceanBase 社区版中的类型 TIMESTAMP 替换为 VARCHAR。 - Spark 模式不支持该类型，会异常报错。 | | DATE | DATE | | BINARY | - BINARY：最多支持 255 字节。 - TINYBLOB：最多支持 255 字节。 - BLOB: 最多支持 65,535 字节（约 64 KB）。 - MEDIUMBLOB：最多支持 16,777,215 字节（约 16 MB）。 - LONGBLOB: 最多支持 4,294,967,295 字节（约 4 GB）。 | | STRUCT | JSON Hive 外表模式支持该类型。例如，STRUCT，数据格式为 ["example",42]。 | | MAP | JSON Hive 外表模式支持该类型。例如，MAP，数据格式为 {"key1":1,"key2":2}。 | | ARRAY | JSON Hive 外表模式支持。例如，ARRAY，数据格式为 ["item1","item2","item3"]。 | | UNIONTYPE | JSON Hive 外表模式支持该类型。例如，Hive 中的值为 {1:9.9}，迁移至 OceanBase 社区版后会转换为 JSON 格式 {"tag": 1, "object": 9.9}。 | ## 操作步骤 1. 新建数据迁移任务。 1. 登录 OMS 社区版控制台。 2. 在左侧导航栏，单击 **数据迁移**。 3. 在 **数据迁移** 页面，单击右上角的 **新建迁移任务**。 2. 在 **选择源和目标** 页面，配置各项参数。 | 参数 | 描述 | | --- | --- | | 迁移任务名称 | 建议使用中文、数字和字母的组合。名称中不能包含空格，长度不能超过 64 个字符。 | | 标签（可选） | 单击文本框，在下拉列表中选择目标标签。您也可以单击 **管理标签**，进行新建、修改和删除。详情请参见 [通过标签管理数据迁移任务](https://www.oceanbase.com/docs/community-oms-cn-1000000002947365)。 | | 源端 | 如果您已创建 Hive 数据源，请从下拉列表中进行选择。如果未创建，请单击下拉列表中的 **新建数据源**，在右侧对话框进行新建。参数详情请参见 [新建 Hive 数据源](https://www.oceanbase.com/docs/community-oms-cn-1000000002947403)。 | | 目标端 | 如果您已创建 OceanBase 社区版数据源，请从下拉列表中进行选择。如果未创建，请单击下拉列表中的 **新建数据源**，在右侧对话框进行新建。参数详情请参见 [新建 OceanBase-CE 数据源](https://www.oceanbase.com/docs/community-oms-cn-1000000002947402)。 | 3. 单击 **下一步**。 4. 在 **选择迁移类型** 页面，勾选 **全量迁移**。 全量迁移任务开始后，OMS 社区版会迁移源库表的存量数据至目标端数据库对应的表中。 5. 单击 **下一步**。在 **选择迁移对象** 页面，选择迁移对象和迁移范围。 您可以通过 **指定对象** 和 **匹配规则** 两个入口选择迁移对象。本文为您介绍通过 **指定对象** 方式选择迁移对象的具体操作，配置匹配规则的详情请参见 [配置迁移对象的匹配规则](https://www.oceanbase.com/docs/community-oms-cn-1000000002947378)。 #### 注意 - 待迁移的表名和其中的列名不能包含中文字符。 - 当数据库的库名或表名存在 "$$" 字符时，会影响数据迁移任务的创建。 1. 在 **选择迁移对象** 区域，选中 **指定对象**。 2. 在 **选择迁移范围** 区域的 **源端对象** 列表选中需要迁移的对象。您可以选择一个或多个库的表、视图作为迁移对象。 3. 单击 **>**，将其添加至 **目标端对象** 列表中。 迁移 Hive 数据库的数据至 OceanBase 社区版时，OMS 社区版支持通过文本导入对象、重命名对象名称、以及移除单个或全部迁移对象。 | 操作 | 步骤 | | --- | --- | | 导入对象 | 1. 在 **选择迁移范围** 区域的右侧列表中，单击右上角的 **导入对象**。 2. 在对话框中，单击 **确定**。 **注意：** 导入会覆盖之前的操作选择，请谨慎操作。 3. 在 **导入迁移对象** 对话框中，导入需要迁移的对象。 您可以通过导入 CSV 文件的方式进行库表重命名等操作。详情请参见 [下载和导入迁移对象配置](https://www.oceanbase.com/docs/community-oms-cn-1000000002947364)。 4. 单击 **检验合法性**。 5. 通过合法性的检验后，单击 **确定**。 | | 重命名 | OMS 社区版支持重命名迁移对象的名称，详情请参见 [数据库库表重命名](https://www.oceanbase.com/docs/community-oms-cn-1000000002947375)。 | | 移除/全部移除 | OMS 社区版支持在数据映射时，对暂时选中到目标端的单个或多个对象进行移除操作。 - 移除单个迁移对象 在 **选择迁移范围** 区域的右侧列表中，鼠标悬停至目标对象，单击显示的 **移除**，即可移除该迁移对象。 - 移除全部迁移对象 在 **选择迁移范围** 区域的右侧列表中，单击右上角的 **全部移除**。在对话框中，单击 **确定**，即可移除全部迁移对象。 | 6. 单击 **下一步**。在 **迁移选项** 页面，配置各项参数。 #### 注意 在 **选择迁移类型** 页面，选中 **全量迁移**，才会显示下述参数。 ![omsce3-zh](https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/doc/img/oms/oms-ce/omsce3-zh.png) | 参数 | 描述 | | --- | --- | | 并发速度 | 包括 **平稳**、**正常**、**快速** 和 **自定义**。全量迁移的性能不同，全量迁移任务所需要的资源也不同。当您选择 **自定义** 时，可以根据实际情况设置 **读取并发**、**写入并发** 和 **JVM 内存**。 | | 目标端对象存在记录时处理策略 | 处理策略包括 **忽略** 和 **停止迁移**： - 选择 **忽略**，当目标端表对象存在数据时，如果原数据与写入数据冲突，OMS 社区版采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。 #### 注意 选择 **忽略**，全量校验将使用 IN 模式拉取数据，无法校验目标端存在源端没有的数据的场景，并且校验性能会有一定程度降级。 - 选择 **停止迁移**，当目标端表对象存在数据时，全量迁移会报错不允许迁移，请处理好目标端数据后再继续迁移。 #### 注意 如果出错后单击恢复，OMS 社区版将忽略该配置选项，继续迁移表数据，请谨慎操作。 | | 计算平台 | 默认为 Local（本地运行模式），您也可以选择在 Spark 计算平台（包含 Spark 本地模式和 Spark 集群模式）上运行。如果需要新增计算平台，请单击下拉列表中的 **管理计算平台**。详情请参见 [管理计算平台](https://www.oceanbase.com/docs/community-oms-cn-1000000002947371)。 | | 写入方式 | 包括 **SQL**（通过 `INSERT` 或 `REPLACE` 写入表）和 **Direct Load**（通过旁路导入方式写入）。目前暂不支持通过旁路导入的方式写入向量类型的数据。 | 如果您需要查看或修改全量迁移组件参数，请单击 **全量迁移** 区域右上角的 **配置详情**。参数说明请参见 [组件参数说明](https://www.oceanbase.com/docs/community-oms-cn-1000000002947508) 模块的文档。 7. 单击 **预检查**，系统对数据迁移任务进行预检查。 在 **预检查** 环节，OMS 社区版会检查数据库的网络连接等是否符合要求。全部检查任务均通过后才能启动数据迁移任务。如果预检查报错： - 您可以排查并处理问题后，重新执行预检查，直至预检查成功。 - 您也可以单击错误预检查项操作列中的 **跳过**，会弹出对话框提示您跳过本操作的具体影响，确认可以跳过后，请单击对话框中的 **确定**。 8. 单击 **启动任务**。如果您暂时无需启动任务，请单击 **保存**，跳转至数据迁移任务的详情页面，您可以根据需要进行手动启动。 OMS 社区版支持在数据迁移任务运行过程中修改迁移对象，详情请参见 [查看和修改迁移对象](https://www.oceanbase.com/docs/community-oms-cn-1000000002947372)。数据迁移任务启动后，会根据选择的迁移类型依次执行，详情请参见 [查看数据迁移任务的详情](https://www.oceanbase.com/docs/community-oms-cn-1000000002947367) 中《查看迁移详情》模块的内容。 ## 相关文档 - [新建 Hive 数据源](https://www.oceanbase.com/docs/community-oms-cn-1000000002947403) - [新建 OceanBase-CE 数据源](https://www.oceanbase.com/docs/community-oms-cn-1000000002947402) - [组件参数说明](https://www.oceanbase.com/docs/community-oms-cn-1000000002947508) - [查看和修改迁移对象](https://www.oceanbase.com/docs/community-oms-cn-1000000002947372) - [查看数据迁移任务的详情](https://www.oceanbase.com/docs/community-oms-cn-1000000002947367) 上一篇 下一篇 ![有帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*y6ocSqN8cqsAAAAAAAAAAAAAARQnAQ)![无帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*BG9IQJyLHF8AAAAAAAAAAAAAARQnAQ)![反馈](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*eTWdQKCRKHwAAAAAAAAAAAAAARQnAQ)[AI](https://www.oceanbase.com/obi) 咨询热线