基于湖库一体架构,统一管理结构化、半结构化与非结构化等多模态数据,一个系统承载事务处理、实时分析与 AI 工作负载。
OLAP(联机分析处理)数据库
什么是 OLAP?
OLAP 数据库是指专门用于支持快速查询和复杂分析的数据库类型,核心能力包括数据的多维分析、快速查询和响应、以及处理大量数据的能力。
数据立方体(Data Cube):数据立方体是 OLAP 中用于组织和存储多维数据的结构,它允许用户从多个维度对数据进行切片、切块、钻取和旋转等操作,实现聚合分析,例如按时间、地域、产品等维度查看销售额。
维度(Dimension)与度量(Measure):维度是数据分析的视角或分类标准,用于对事实数据进行分类和组织,例如时间维度、地域维度和产品维度。度量是被分析的数值型数据,通常是可以进行聚合计算的指标,例如销售额、利润或订单数量。
星型模型(Star Schema)与雪花模型(Snowflake Schema):是不同的数据库设计方法。星型模型将中心事实表与多个维度表连接,形状类似于星星,用于 OLAP 系统优化查询性能。雪花模型是星型模型的扩展形式,维度表被进一步规范化为多张表,使维度数据呈现分层结构。
切片(Slice):指在数据立方体中选择一个特定的维度值,从而得到一个数据的子集。例如,选择特定地区的销售数据。
切块(Dice):与切片类似,但切块是在多个维度上同时选择特定的值,从而得到一个更小的数据子集。例如,选择特定地区和特定时间段的销售数据。
钻取(Drill-down)与上卷(Roll-up):指用户在数据的层次结构中上下移动,钻取是从汇总数据深入到详细数据,上卷是钻取的反向操作,指从详细数据汇总到更高层次的数据。例如,从年度销售数据钻取到季度或月度数据。
旋转(Pivot):旋转操作允许用户改变数据的视图,将一个维度的数据转换为另一个维度,从不同的角度分析数据。例如,将时间维度的数据转换为地区维度的数据。
聚合(Aggregation):聚合是对度量数据进行统计计算的操作,例如求和、平均值、最大值或最小值,用以生成汇总信息。
预聚合(Pre-Aggregation):预聚合是提前计算和存储常用的聚合结果,减少运行时的计算压力,从而加速查询。
OLAP 与 OLTP 的区别
OLAP 侧重于决策支持,通过多维数据模型支持用户从不同角度和层次上对数据进行查询、分析和挖掘,帮助用户快速、动态地分析大量数据,生成有意义的分析看板或报告。
OLTP 侧重于实时的事务处理,主要处理日常的业务事务。如订单处理、客户信息更新等,强调的是事务的快速处理和数据的实时更新。
相比之下,OLTP 对实时性要求高,需要快速处理单个事务,确保数据的即时更新和准确性,以满足业务操作的实时性需求。
OLTP 处理的数据量相对会小一些,主要处理当前业务相关的数据,数据量虽然较小但变化频繁。OLTP 系统以插入、更新和删除操作为主,读写比例通常较为均衡。OLTP 系统以响应时间优先,需要提供毫秒级的响应时间,以满足高频率的交互需求,优化目标主要是支持大规模用户同时进行的高并发事务。
OLTP 系统以单表或简单多表查询为主,事务通常只操作少量记录,但对实时性要求极高。OLTP 需要支持大规模并发用户请求,典型的访问模式是高频率、小规模的事务处理。
OLTP 以事务处理为中心,多为关系型数据库,使用高度规范化的设计(如三范式)以减少数据冗余和写入冲突。OLTP 系统通常采用行存储结构,优化单条记录的插入、更新和删除操作,对系统可靠性、一致性和可用性要求极高。
OLTP 主要用于进行事务处理的系统,如银行的核心业务系统(如转账、取款等事务处理)、电商平台的订单管理、库存更新、用户信息管理等业务系统。
实时 OLAP 的主要特点
实时 OLAP 应用场景
实时 OLAP 的典型应用场景包括:
OLAP 数据库有哪些,主要特性是什么
OLAP 数据库作为联机分析处理的核心,具有一系列整体特性,共同支持其高效的数据分析和挖掘能力。
为了进一步优化查询性能,OLAP 数据库通常支持数据分区和多种索引策略。例如,分区技术允许系统根据时间、地域或其他维度将数据划分为多个子集,从而加速特定维度的查询。而索引(如位图索引、稀疏索引)则能够快速定位目标数据块,减少扫描范围,提高查询效率。
OceanBase 的 AP 特性
以下是 OceanBase 的主要 AP 特性:
列存引擎
全新向量引擎
物化视图
实时写入
MySQL 生态兼容与 AP 工具集成
OceanBase 的 OLAP 场景案例
OceanBase 的 HTAP 混合负载能力底能够真正达成一套计算引擎让系统中多个计算节点同时运行 OLTP、OLAP 类型应用,彻底解决数据同步的时延问题,做到实时分析。以会员等级数据为例,以往,海底捞需要从数据库中加载数据,经过 ETL 至数据仓库来执行批处理作业,并在计算完成后将结果重新同步至数据库中。现在,这些流程通过 OceanBase 即可全部完成。
通过应用 OceanBase,系统的实时分析算力提升 45%,系统具备更实时、稳定的智能推荐能力,做到实时分析每个顾客不同的口味以及各自喜好进行“千人千面”的智能推荐。
迁移至 OceanBase 后,掌玩游戏借助 OceanBase 的 HTAP 能力,替代原有“云原生数据库(TP)+数据仓库(AP)”的方案,大大简化了数据库架构,数据只有一份且无需维护同步链路,分析业务真正做到了实时没有链路延迟,分析处理的性能和实时性得到进一步提高,复杂 SQL 性能平均提高 30%。
OceanBase 在相同环境下的综合性能优于 HBase,并且原生支持二级索引能力,部署简单,具有更低的硬件成本和运维成本。贝壳选择使用 OceanBase 替换 HBase,作为实时计算平台的实时维表,维表数据量在 2000万及1亿条(大数据量)时,低任务并行度下的 OceanBase QPS 优于 HBase,高任务并行度下 OceanBase 相比 HBase 有 3-4 倍性能提升,优势明显。同时,使用 OceanBase 存储数据只需要三副本,成本降低一半。