核心技术与功能

本节为您介绍 OceanBase 数据库一体机（ OceanBase Data Machine, ODM ）的核心技术与功能。

ONM网络加速，降低分布式网络开销

ONM是ODM一体机提供的网络加速组件，基于RoCE网络（RDMA over Converged Ethernet）优化数据传输。ONM基于RDMA技术（远程直接内存访问），允许一台机器在不占用内核资源的情况下直接从另一台机器访问数据，数据经过网卡直接读取/写入内存，无需额外的复制或缓冲，从而实现高带宽和低延迟的传输访问。ONM网络加速套件是 ODM一体机高性能架构中的一个重要组成部分。

在OceanBase分布式数据库中，分布式事务的二阶段提交、分布式跨节点Join、全局快照号获取、CLog复制同步、全局索引维护、复制表维护、Proxy与DB实例交互等场景下均会产生大量网络RPC通信，OceanBase在数据库层面提供了TableGroup、本地索引等技术来减少跨节点网络RPC的请求，但仍存在一些业务场景过于复杂，导致大量跨网络访问，例如用户无法规划统一的分库分表键、全局索引的维护、HashJoin的连接字段非分区健等。

ODM通过引入ONM网络加速套件，可以显著降低单次RPC网络IO的延迟，提高 ODM平台上OceanBase数据库OLTP 业务的响应速度和可扩展性，尤其是高争用、高网络RPC负载的场景。

ONM

如上图，ONM是一个动态链接的用户空间库，使用ONM可绕过内核网络协议栈，得到更低的网络延迟和更高的网络吞吐。ONM为上层应用提供了标准Socket API，OceanBase及应用可以透明使用，无需任何改动，目前一体机会自动为OB实例内联网络及OBproxy-OBserver网络开启ONM加速。

Network

通过BenchmarkSQL工具压测，开启ONM网络优化模式后，OB各个延迟响应指标有不同程度降低（分布式事务比例25%，RPC In流量7.2Gb/s ），在有网络风暴的业务场景下，系统业务性能提升高达18%。

Table

OSM文件系统，NVMe SSD 与文件系统的一体化管理

随着NVMe SSD的使用普及，本地化的NVMe设备如何构建raid保护以及如何与文件系统整合管理成为一个棘手的问题，用户需要为NVMe设备的多副本，条带化，文件系统寻找一系列解决方案。ODM V4一体机的OSM，是专为数据库运行而设计的文件系统，支持NVMe SSD，数据卷，文件系统的一体化管理，并提供副本镜像，存储池化，故障换盘，在线扩容，数据&元数据校验和，子卷快照等功能。相比MDRaid+LVM+XFS传统方案，OSM仅需简单命令即可进行存储到文件的便捷管理，大幅提升存储管理效率。

RAID2.0的副本保护

OSM支持1，2，3副本保护，用户可以灵活配置。不同于传统RAID卡的磁盘镜像，即使是奇数盘，OSM也可进行双副本保护。数据文件会按照Bucket进行切分，每一个Bucket会随机寻找磁盘进行副本存放，OSM会保证副本之间跨磁盘冗余，并维护多块磁盘空间的均匀分配。通过这种细粒度的条带切分，文件系统可以最大程度发挥底层磁盘的物理性能，后续扩容磁盘后，也可以重平衡打散数据。
FailGroup故障组

OSM支持用户自定义FailGroup故障组，文件Bucket副本可以跨故障组进行冗余保护，一个FailGroup的所有磁盘损坏均不影响OSM文件的可用性，FailGroup可以是一张RAID卡上的所有磁盘，也可以是来自某个存储节点的磁盘，用户可以利用FailGroup来设定符合业务需求的数据冗余。建议每个FailGroup的磁盘数量和大小完全一致，否则容易导致数据分布不均匀，在OSM中磁盘可以进行offline/online操作，当磁盘因故障中断并online后，会自动补齐差异数据。
智能IO路径访问

OSM采用多副本模式进行数据保护，数据写入是强制副本同步，每一个数据副本均可提供读写服务，可以最大层度发挥底层硬件IO性能，上层业务具体读取哪个副本由OSM调度完成。在OSM内部会智能统计磁盘设备的IO响应延迟，调度算法会优先访问延迟较低的副本，如果某块磁盘的IO延迟因故较高，OSM会减少该盘的访问路由。如果每块盘的IO能力接近，整体IO访问会比较均匀。
数据安全与空间容量

OceanBase默认是依靠分布式3副本进行数据保护，如本地磁盘不做Raid保护，磁盘故障即会导致Leader副本切换，影响业务体验，而本地Raid副本+OB三副本会带来较大的空间损耗，OSM副本技术结合OceanBase原生态压缩，可以提供3倍+压缩率，同时提供本地副本保护，任意磁盘故障对OB实例无影响，兼顾了空间利用率和数据安全。
COW与快照

OSM支持COW写时复制和NOCOW原地写入两种模式，默认配置为NOCOW。基于COW写时复制技术，底层文件系统可以随时创建快照。快照并非完全拷贝原始数据，仅仅记录数据块指针的变化。当原始数据差异量增大时，维护快照需要的copy块才会增加。快照所占用的空间大小取决于数据库变化的block数量，对于大多数读多写少的业务场景，文件系统快照并不会占用太多空间。
OSM系统性能

OSM在读写吞吐和随机IO上均有卓越的性能表现，相比传统软硬RAID方式，性能提升3-6倍。

ODM CDP数据保护，10TB数据分钟级恢复

ODM V4一体机通过ODM CDP（Continuous Data Protection, CDP）数据保护节点进行持续数据保护。

cdp

10 TB 快速恢复到最近一笔数据

该节点持续接收主数据库生成的clog日志，结合指针锁定历史数据块，实现数据的快速恢复。其主要特性包括：
- 一次全量，永续增量，对主库性能无影响。
- 持续数据保护，消除备份间隔，RPO 接近于 0。
- 支持时间点数据恢复，10TB数据最多5分钟可恢复。
- 能够同时创建多个不同时间点的历史数据副本。
数据保护节点极大提升了数据库的安全级别，能够快速应对勒索病毒、逻辑错误、数据覆盖或删除等故障，恢复时间显著优于当前主流备份软件，非常适合重要业务数据的实时保护。
拟真测试环境的创新应用

ODM CDP数据保护节点集成了容器化技术，能够基于特定时间点快速创建可读写的独立数据库环境。由于指定时间点与当前时间接近，该环境的数据与生产环境几乎完全一致。与传统从全量备份恢复的方式相比，数据保护节点的主要优势包括：
- 创建速度极快，无视数据总量，最快5分钟即可创建数据副本环境。
- 空间消耗小，多个副本仅占用差异空间，相同数据自动指向同一数据块，无需额外去重。
- 操作简单，仅需点击页面按钮即可创建包含操作系统在内的完整数据库环境。
通过拟真测试环境，开发人员可以低成本快速获取最接近生产实时数据的数据库测试环境，极大提高生产效率，降低硬件成本和时间成本。
租户级实时备份

以租户为粒度进行数据实时复制，备租户通过clog应用与源端保持一致，数据延迟控制在秒级，实现数据备份即验证，最大程度保证备份可用性。当主租户异常后，通过备租户可恢复到最近一秒的数据。

对 OceanBase 集群备份支持仅备份部分租户(OceanBase 4.0 以上版本)，用户未指定备份的租户不会进行同步，节省数据保护节点上的存储空间和CPU、内存等资源消耗。同时也支持集群新增租户的探测与告警，及时通知客户为新租户配置备份保护。

对 OceanBase 进行恢复时，支持仅恢复部分租户，用户未指定恢复的租户不会进行按时间点恢复，进一步节省了恢复时间和资源消耗。

NUMA Aware 与多OB实例架构，最大化硬件性能

ODM 底层提供了强大的资源能力，并通过系统化优化，显著提升了IO和计算性能。随着PCIe技术的不断演进，每一代产品在IO吞吐量上都实现了质的飞跃，按照摩尔定律的规律性增长。然而，单机的IO吞吐量之大（单机可达百GB吞吐），往往会超出单个OB Server进程的处理能力。

对于需要大量IO吞吐量的IO密集型应用，如数据仓库系统，ODM 提供了一种高效的解决方案。通过在一体机上部署多个OB实例，可以充分利用其强大的IO处理能力。这种多实例架构不仅优化了资源配置，而且在不增加额外成本的前提下，有效降低了总体拥有成本（TCO）。

通过这种方式，ODM一体机不仅提升了性能，更在成本效益上展现了其独特的优势，为企业提供了一个高效、经济的数据处理平台。

numa

如上图所示，在单实例环境中，并行装载数据的速度为297M/秒，并行查询的性能为10.05GB/秒，通过使用多实例方式，并行装载速度提升247%，并行扫描速度提升311%，随着OB Server版本的迭代，每一个实例可以利用消化的IO能力也会有或大或小的提升，不过利用多实例提升单机能够利用的IO能力是一种通用手段，在绝大部分数据库中都适用。

ODM 通过NUMA Aware技术结合多实例，可以最大化发挥NUMA架构下的CPU访问内存等硬件的效能，进而提高数据库性能。

node

如下测试数据来自于stream工具，stream是业界标准内存综合性能测量工具，通过针对内存进行Copy、Scale、Add、Triad 四种操作测试系统访存性能，本次测试的CPU基于Hygon C86 7490，对内存只进行copy操作的测试。

可以看到在配置为8 NUMA Node下，比关闭NUMA （表格中1 NUMA Node）的内存带宽测试性能数据（16013:8809)，几乎提升一倍。

以上数据基于标准的系统层测试工具，以下数据基于BenchmarkSQL得出，测试环境Hygon C86 7490 * 2颗，OceanBase实例配置为32c 96G，可以看到随着NUMA的启用，运行2 node(die)时，业务性能数据相较于关闭 NUMA tpmC性能提升(2295268 - 1895120)/1895120 = 21.1%。

降低磁盘损坏的重建代价

分布式OB默认为3副本，如果主机本地再做RAID保护，数据存储将是6副本，考虑到成本问题，部分用户会在主机层仅做RAID0条带，将数据保护完全交给OB的副本机制，针对这种场景需要考虑单盘故障的影响面，如图例中，采用多OB实例与存储磁盘的绑定，单盘失败仅影响1/4的数据，整体故障面可减少3/4。

说明

因为分布式数据库默认3副本，主机本地如再做Raid保护，数据存储就是6副本，考虑成本问题，主机本地可能只做raid0条带，这时要考虑磁盘损坏的故障影响面。

端到端标准化，降低交付运维成本

standard

秉承Software and Hardware Work Together的集成设计理念，ODM一体机的计算/存储/网络/数据库均由技术专家预先配置与调试，实现数据库软件，操作系统，固件驱动端到端测试验证，对于产品组件的选型遵循收敛的原则，每一款硬件都通过严苛的疲劳测试、稳定性测试，确保所有组件无缝工作，降低现场集成实施成本。例如，一体机中没有使用常见的硬件raid卡，在大IO场景下以及众多的售后工单中，硬件raid卡是服务器中故障率非常高的组件，如上图所示，在国产化产品适配验证过程中，raid卡遭遇故障的频率相比于其它组件是最高的，ODM一体机通过OSM软件层而非硬件RAID卡解决了数据多副本的问题，另外OceanBase本身作为分布式数据库，也提供了数据库层多副本的保护。

硬件/OS深度管控

硬件的良好配置和监控是一体机稳定运行的关键，ODM一体机针对计算/存储/网络/OS提供了全面的可视化管控能力，支持在线存储扩容，故障换盘，网络链路检测，交换机管理，CPU/内存/网卡/电源/风扇/PCIe卡槽深度自检，操作系统命令审核等核心功能，平台可24*7不间断探测关键运行指标，第一时间对于异常指标进行预警，保障数据库系统稳定运行。

module

高可靠性平台

ODM一体机经过严格的端到端测试和精心设计，致力于提供业界领先的可靠性。ODM V4版本通过全方位的防护措施，覆盖了从基础硬件故障到复杂的节点故障和人为错误的所有故障类型，确保了系统的高可用性。

全面冗余，确保持续运行

每个ODM一体机都配备了完全冗余的硬件配置，包括冗余网络、冗余配电单元（PDU）、冗余电源和冗余数据库服务器。这种设计确保了即使在部分硬件发生故障时，系统仍能稳定运行，最大程度减少了停机时间。
多级防护，保障数据安全

OceanBase数据库的多副本机制和选举机制为数据库服务器节点不可用提供了额外的保护，有效防止了数据库服务器故障的风险，最小化对于业务连续性的影响。同时，OSM文件系统通过数据镜像技术，为磁盘存储提供了额外的安全层，防范了数据丢失的风险。
CDP技术，实现数据的准实时恢复

ODM CDP（Continuous Data Protection）技术为源端主数据库提供了黄金副本，实现了准实时的数据恢复能力。在面对主数据库故障或站点灾难时，CDP技术能够提供全面的保护。此外，CDP的闪回功能允许数据库恢复到任意历史时间点，为误操作等场景下的数据保护提供了最高级别的数据安全保障。

数据库高密度整合的最佳平台

OceanBase 数据库的存储引擎基于 LSM Tree 架构，将数据分为静态基线数据(放在 SSTable 中)和动态增量数据(放在 MemTable 中)两部分，其中 SSTable 是只读的，一旦生成就不再被修改，存储于硬盘;MemTable 支持读写，存储于内存。由于基线是只读数据，而且内部采用连续存储的方式，OceanBase 数据库采用通过自研行列混合编码叠加通用压缩算法，对于微块内的数据会根据用户表指定的模式分别进行编码和压缩。当用户表打开 encoding 时, 每个微块内的数据将按照列维度分别进行列内的编码，编码规则包括字典/游程/常量/差值等，每一列压缩结束后，还会进一步对多列进行列间等值/子串等规则编码。编码不仅能帮助用户对数据进行大幅压缩，同时提炼的列内特征信息还能进一步加速后续的查询速度。在编码压缩之后，OceanBase 数据库还支持进一步对微块数据使用用户指定的通用压缩算法进行无损压缩，进一步提升数据压缩率。

因此，OceanBase 数据库的数据存储压缩率能够相较传统数据库提升 10+ 倍，既能做到高压缩比，又不影响查询性能，大幅降低了存储成本。

ODM 被设计为一套创新的资源池解决方案，横向上可以弹性扩展，在底层的IO能力供应上，3台起配规格的集群所能提供的IO能力即可达到200GB/s吞吐，2000万 IOPS，结合OceanBase先进的多租户技术和资源隔离技术，能够高效地将众多数据库整合进一套ODM 中。这一设计使得它能够应对多数据库环境中的多样化、复杂性以及不可预测的混合负载，无论是OLTP、分析还是批处理等操作，都能通过ODM 的强大资源能力得到有效处理。

ODM不仅能够处理混合数据库负载，还以其卓越的可扩展性和性能领先于行业，成为理想的数据库整合平台。在多数据库环境中，一个主要的挑战是资源竞争，即一个数据库可能会消耗过多资源，从而影响其他数据库的性能。ODM数据库云平台通过OceanBase特有的资源隔离和限制功能，有效解决了这一问题。

客户可以在OceanBase集群、租户、用户等多个层面设置负载优先级和资源限制，确保每个整合的数据库或用户都能获得所需的资源，同时满足预定的响应时间要求。这种精细的资源管理和优化，得益于OceanBase的数据库资源隔离技术和多租户架构以及ODM底层强大的IO、内存及CPU扩展能力。

总的来说，ODM凭借其强大的资源能力以及OceanBase特色资源隔离和多租户功能，成为了一个理想的数据库整合和RDS服务平台，为用户提供了一个高效、稳定的数据库管理环境。

可视化管理平台

ODM 提供了一站式的可视化管理能力ODM Control，能够对所有硬件和软件组件（如数据库服务器、NVMe SSD、网络交换机、OSM、ONM和操作系统等）提供独有的统一视图，监视在这些组件上运行的操作及其资源使用情况。ODM平台集成了OceanBase原生的管理平台OCP，通过OCP用户能够对数据库进行全生命周期的管理，用户既可以直观地感知数据库实例的实时运行状况，又可以实时定位异常问题，DBA 可以从数据库视角进行深入下钻分析数据库性能或故障诊断，快速确定任何性能瓶颈的根源。ODM管理平台预先定义了相关指标的量度和阈值，因此管理员通过预定义告警，可在出现问题时及时收到通知并处理这些异常。此外，还可自动检测硬件故障并记录风险，从而缩短了解决问题的时间。

ODM管理平台原生性的提供了CDP数据保护管理能力，CDP模块强调了数据备份和恢复的重要性，通过CDP管控页面可以便捷的进行备份任务的创建、数据恢复操作，确保数据安全，并在故障发生时能够迅速恢复数据，保证业务连续性。

ODM管理平台为用户提供了一个高效、稳定、安全的数据库一体机管理环境，帮助用户简化运维工作，提升数据库性能和稳定性。