基于湖库一体架构,统一管理结构化、半结构化与非结构化等多模态数据,一个系统承载事务处理、实时分析与 AI 工作负载。
OLTP(联机事务处理)数据库
本文将介绍 OLTP 的定义、特点,与 OLAP 的区别,当前 OLTP 数据库面临的挑战,及相较于传统数据库,分布式数据库如 OceanBase 在 OLTP 中的应用优势与实践案例。
什么是 OLTP(Online Transaction Processing)
支撑 OLTP 工作负载的数据库被称为 OLTP 数据库,一般为关系型数据库,如 Oracle、MySQL、OceanBase 等。OLTP 关系型数据库一般基于表格的形式存储数据,表格之间通过主键和外键建立关联。OLTP 数据库通常具备以下特征:
OLTP 与 OLAP 的区别
OLAP:OLAP 则主要侧重于对大量数据进行多维度的查询和分析,以支持业务的决策。OLAP 处理的数据通常是经过汇总和聚合的,用于生成报表或看板,并进行数据分析。例如,零售企业可以通过 OLAP 系统分析销售数据,了解不同地区、不同产品的销售情况,制定相应的营销和库存策略。
OLAP:是对大量数据的批量读取和分析。数据通常是聚合的,如对大量数据进行汇总、统计和分析。系统主要进行读操作,用于查询和分析数据,写操作相对较少。
OLAP:通常采用非规范化的数据模型,如星型模型或雪花模型,以优化查询性能和数据聚合。
OLAP:一般对响应时间的要求相对宽松,通常允许较长的查询时间。系统需要支持复杂的查询和大规模的数据处理。
OLTP(Online Transaction Processing)的典型应用领域
银行、证券等金融系统
电商与零售系统
传统数据库在 OLTP 中的挑战
在 OLTP 系统中,这种数据量的增长给传统数据库带来了巨大的挑战。传统数据库通常采用集中式架构,所有数据都存储在单一的服务器或数据库实例中。这种架构在数据量较小、业务规模有限的情况下能够正常工作,但随着数据量的不断增加,性能瓶颈逐渐显现。
分布式数据库在 OLTP 中的应用
OceanBase 在 OLTP 场景的实践
异地多活高可用
高并发场景
传统数据库上云
大存储数据库降本
多数据库实例整合
分库分表一体化升级
业务挑战
OceanBase 高可用方案
OceanBase 的 OLTP 场景应用案例
经过长时间的调研和测试对比,高德决定采用性价比极高的 OceanBase 来迎接高德万亿(条)数据的挑战。
在引入 OceanBase 数据库后,业务稳定性极大提升,利用 OceanBase “三地五中心”的部署和强一致特性,业务可实现城市级别的容灾,保证数据不丢。利用 OceanBase 的分布式特性,业务系统的数据存储具备了动态扩容的能力,业务无感知的平滑扩容,保证业务不停机,同时节省了业务提量猛增后的数据库扩容和迁移成本,极大降低了数据库容量不足的风险;OceanBase 使用的 LSM-Tree 结构存储最大可压缩数据至原大小的 35%,减少数据占用的存储容量,降低存储费用成本。此外,相比 MySQL,迁移至 OceanBase 后读性能平均提升 2 倍,写性能平均提升 3 倍。以云同步业务为例,读单单元 8wqps,三单元 24wqps,写 2.8wtps,读 in 查询,写批量写入,平均 RT 均在 2~3ms。
网商银行目前集群规模 100 多套,数据量达到 PB 级。通过 OceanBase“三地五中心”的逻辑架构部署,实现了 RPO = 0,RTO < 30s。一旦其中一到两个中心发生故障,甚至一个城市出现问题,业务也能够实现在 30 秒内自动恢复,提升了全行业务的容灾能力。在技术应用场景,实现分库分表与分区相结合,提高并发跑批的能力,每个批次查询 5千~100 万条,每批次并发最大可处理 130 亿账户。此外,实现数据从金融网关进入网商那一刻起就变成密文,密文传输、密文存储,符合金融级数据隐私保护的要求。混合云的弹性架构,实现大促期间在一朵云资源耗尽的情况下,弹出 20% 的流量到新云上,保证了负载的跨云弹性伸缩。
OB Cloud 云数据库具备规模化降本、快速云上迁移等关键优势,与图匠现阶段对云数据库的需求不谋而合。迁移至 OceanBase 后,图匠的系统性能整体提升了 1-3 倍。选择 OceanBase 作为 AI SaaS 平台“数货宝”的实时数据库,借助 HTAP 能力,让图匠无需使用两套系统,仅用一套系统即可完成 OLTP 与 OLAP,涵盖了配置、流程处理、业务结果等数据,显著提升该业务的系统整体性能。此外,图匠借助 OceanBase 的高级压缩技术,降低海量数据存储空间占用,实现数据存储成本降低 50% 的显著成效。以图匠 50 余套数据库中的某套数据库为例,数据压缩达 10 倍,原库 15TB,经 OceanBase 压缩后仅剩 1.5TB。
总结
传统数据库在 OLTP 场景面对海量数据增长与高并发事务处理需求时,面临着数据增长与性能瓶颈、高并发事务处理压力等诸多挑战。OceanBase 的原生分布式架构在 OLTP 场景中通过高可用性、弹性扩展、分布式事务处理、多租户、数据压缩等特性,可显著提升系统的性能、可用性和可扩展性,并降低成本,能够更好地满足现代 OLTP 业务的需求,并在高并发、异地多活、数据库技术降本、多实例整合等场景得到应用和众多行业客户的认可。