首批通过分布式安全可靠测评,为关键业务系统打造
集团应用分布式数据库覆盖B/O/M域总计
节点规模超1000个
- 10倍数据压缩比达
- 70%存储资源节省
- 10万条/s迁移速度
联通 AI 与 DB 融合探索实践
王晓峰-中国联通软件研究院公共平台与架构研发事业部副总经理
王晓峰中国联通软件研究院公共平台与架构研发事业部副总经理
邱永刚中国联通软件研究院 OceanBase 研发负责人
邱永刚中国联通软件研究院 OceanBase 研发负责人
2025-12-12
邱永刚中国联通软件研究院 OceanBase 研发负责人
2025-01-10
2024-10-28
2023-12-21
唐素珍、邱永刚联通软件研究院济南分院
一、业务背景
中国联通软件研究院架构部平台承载了上千应用的数据库需求,并且现存大量数据库使用过程缺少规范、缺少监控,同时还存在着数据库核心技术卡脖子风险。为了实现核心技术可靠,及时为用户解决线上问题、满足用户的功能需求,提供物美价廉的数据库产品,为公司减成本增收入,在开源的基础上自研数据库非常必要。
在联通云统一的运维体系下,需要管理的应用系统数量非常多,但是在规模化运维的场景下,运维人员数量始终有限,必须通过建模化的工具,对平台和应用在数据库使用上进行权责划分,以提高运维效率。
在上述背景下,中国联通软研院平台架构部的数据库研发团队,历时13个月完成了对OceanBase社区版的适配与优化,打造了分布式HTAP数据库产品——CUDB for OceanBase。坚持边用边改、以改促用,使得该产品得到规模应用,取得良好的使用效果。CUDB for OceanBase 完全适配了PKS体系,完美补齐CUDB 分布式HTAP数据库的空白,为联通云产品体系再添新星。CUDB for OceanBase 将产品的开通、使用、监控和运维全面接入联通云,实现产品资源的一点开通、一点交付、一点监控、一点运维和一点操作,为联通云租户提供易用而专业的一站式服务。
二、业务挑战
- 多租户增加运维复杂度
- 随着联通软件研究院的业务系统越来越复杂,原来的单体服务在工程和管理上变的越来越不堪重负。调研的其他分布式数据库,如果将多个业务租户在一个数据库中做逻辑名字空间隔离,大小租户之间会互相影响;如果每个业务租户使用一个独立的数据库,则成本较高,几十到上百套分散数据库环境,运维工作复杂,同时扩展性受限。
- 资源浪费
- 为了保障数据库高可用,一般按照流量高峰进行资源配置,波峰波谷最高差距可达10倍,导致资源利用率不高。同时传统数据库为了高可用又采用一主两备的方式,备机闲置加剧了资源利用率低的问题。
三、解决方案
- 原生多租户架构
- OceanBase 原生多租户架构,可极大程度简化数据库基础设施的复杂度:在一个OceanBase集群内同时运行多个数据库租户,每个租户可以视为一个独立的数据库服务;租户间数据和资源互相隔离,并且在集群内统一调度;支持在创建租户时选择不同的兼容模式,每个租户可单独配置数据副本数量、副本类型、存储位置及计算资源等。联通软件研究院平台架构部数据库研发团队将数据库集群按指定规格(CPU、内存、存储、TPS、QPS)划分成多个资源池,分配给不同的租户。租户间除了数据隔离,还支持 CPU、内存的资源隔离 (4.x 版本又支持了磁盘和网络的 I/O 资源隔离)。
- 租户资源共享,在线秒级扩缩
- 资源共享
- 租户共享资源,采用多租户共享资源池建设模式,租户间共享资源并相互隔离,提高资源利用率;节点资源均衡利用,采用表均衡分布在每个节点上模式,不再有备节点资源闲置问题,并且可以完全横向扩容,资源利用率更高;存储资源高效压缩,深度使用数据压缩功能,相比MySQL可以有效节省70-90%存储资源。
- 弹性扩缩
- 数据库租户在线秒级纵向扩缩,TB数量级小时级横向扩容能力,实现应用无感知扩缩容,应用无需为了应对高峰访问而冗余大量资源,从而提高资源利用率。
- 资源共享
四、应用场景
2023年,联通软件研究院平台架构部数据库研发团队在6月初完成开发者门户CUDB for OceanBase产品控制台适配、兼容性改造;完成监控、运维能力适配改造,已完成应用使用的所有准备工作。7月份完成生产环境4.1版本的48台规模集群的搭建,目前已推广51个应用,并在11月份平滑升级到4.2版本。
CUDB for OB完全适配了PKS体系,完美补齐CUDB 分布式HTAP数据库的空白,为联通云产品体系再添新星。CUDB for OB将产品的开通、使用、监控和运维全面接入联通云,实现产品资源的一点开通、一点交付、一点监控、一点运维和一点操作,为联通云租户提供易用而专业的一站式服务。
五、客户收益
目前联通软件研究院平台后端已超过200台机器支持,业务以多租户的形式部署在一套集群,平台后端每个区域对应多套集群。最大的集群有12台机器。需要支撑的总应用系统数量超300个,已有超100个应用上线,其他应用陆续接入中。
- 典型业务一
- 创建用户、创建数据库、为用户赋权等操作均支持白屏操作,非常人性化,降低了出错的风险,方便管理。
- 在使用过程中,根据告警监控,动态感知实例运行状态和资源使用情况。
- 业务脱敏后详单数据入库CUDB for OceanBase 效率高,没积压。
- 10倍压缩比,存储空间利用率高。
- 业务脱敏后详单数据入库CUDB for OceanBase 效率高,没积压。
- 在使用过程中,根据告警监控,动态感知实例运行状态和资源使用情况。
- 创建用户、创建数据库、为用户赋权等操作均支持白屏操作,非常人性化,降低了出错的风险,方便管理。
- 典型业务二
- 支持数据和业务平滑迁移。将 MySQL 的数据平滑迁移至 CUDB for OceanBase,迁移效速度快,兼容性好,几乎不需要进行改动。
- 支持数据闪回恢复。不小心误删了某些数据,使用实例数据恢复功能将数据恢复至任意时间点,经验证,数据不丢失,为安全性又加了一层保障。
- 表关联性能大幅提升。对于表关联查询,采纳联通云CUDB for OceanBase专家的意见,使用表组管理功能,将关联查询的表绑定到一个表组内,大大提高了表关联查询的效率。
- 支持数据闪回恢复。不小心误删了某些数据,使用实例数据恢复功能将数据恢复至任意时间点,经验证,数据不丢失,为安全性又加了一层保障。
- 支持数据和业务平滑迁移。将 MySQL 的数据平滑迁移至 CUDB for OceanBase,迁移效速度快,兼容性好,几乎不需要进行改动。
- 典型业务三
- 高存储压缩比降低存储成本,有效降低计算成本,并利用多租户部署充分利用系统资源,原数据库迁移17TB数据,在OceanBase 仅使用4TB存储空间,节省70%存储资源。
- 在线进行平滑扩容缩容,扩容后自动实现系统负载均衡,并且扩容或缩容过程对应用透明。
- 高存储压缩比降低存储成本,有效降低计算成本,并利用多租户部署充分利用系统资源,原数据库迁移17TB数据,在OceanBase 仅使用4TB存储空间,节省70%存储资源。