首批通过分布式安全可靠测评,为关键业务系统打造
原生分布式架构升级支撑核心业务快速发展
- 3年综合故障率低于Oracle
- 70%总体拥有成本节约近
- 10倍核心系统吞吐达到峰值
一、业务背景
集中式数据库历经数十年的成熟发展,生态已经比较完善,应用相当广泛,券商行业普遍采用传统的国外集中式数据库建设信息系统,系统运行也较为稳定可靠。但着证券业务多元化、线上化和数据化的浪潮来袭,业务并发量和数据量急剧增加,集中式数据库的各种弊端逐渐显现。
为解决上述性能容量及可靠性方面等问题,2017年底,招商证券开始调研国内的分布式数据库,对包括OceanBase在内的市面上近10款主流分布式数据库方案,进行了详细测试与比较,主要包括基础数据库功能测试、复杂SQL语句测试、基准性能测试、压力测试和疲劳性测试,最终在2019年,招商证券选择了原生分布式数据库OceanBase。
二、业务挑战
- 自研程度不足
- 原有集中式数据库技术高度依赖于国外厂商,在一定程度上存在信息安全的风险,也无法满足金融行业自研的要求。
- 可靠性不足
- 集中式数据库为单副本数据,存在单点风险,虽有各种同步复制技术可以弥补,但出现故障时主备切换仍然需要干预判断,容易出现判断失误导致数据丢失或不一致风险,同时RTO/RPO也满足不了当前业务发展需求。
- 弹性扩展能力不足
- 由于传统架构先天不足,单库容量和性能遇到瓶颈时无法动态伸缩扩容,制约了系统的整体处理能力。
- 运营成本高
- 国外集中式数据库许可费用高,高性能数据库也需要小机等昂贵基础设施支撑,投入费用高。传统“烟囱式”建设模式,每套库均需单独选型、硬件安装配置,软件部署周期长,人力资源消耗大。
三、解决方案
- 业务无侵入,为规模化复制提供基础
- OceanBase 基于分区控制数据分布,灵活选择集中式或分布式部署模式,屏蔽分布式对应用的限制,兼容Oracle/MySQL单机数据库的用法。
- DBaaS平台化运维 、快速弹性扩展
- 通过统一管理云平台OCP实现多套数据库集群的统一管控,实现了在线数据库租户资源申请,充分享受了云的弹性扩容优点,大大加速了业务的投产和响应速度,且通过统一界面、统一管理和统一运维,减轻了数据库管理员的工作负荷。
- 城市级容灾
- 结合招商证券的实际情况,在架构上,OceanBase采用了“一主一备”近城两中心架构以及“一主两备”近城两中心+异地灾备架构,满足每季度的机房切换演练。“同城备集群1”进行switchover 切换,生产数据正常写入,“异地备集群2”负责应对城市级容灾场景。
-
整体部署架构契合两地三中心机房配置,业务系统按重要程度、是否需要异地灾备、业务负载类型等因素,划分到不同数据库集群。
四、应用场景
- 解决高性能需求
- (1) 数据中台服务
- 直接面向公司1300万客户提供高并发、低延迟的查询服务,要求百亿级别数据秒级响应。信创分布式数据库平台具备卓越性能和扩展性,当前百亿级别数据查询耗时低于100ms,为企业画像系统、招商证券APP盈亏分析、理财等业务模块提供了高并发访问支持,保障系统稳定提升用户体验。
- (2) 消息推送平台
- 消息即时推送是提升用户“活跃度”,增加用户“粘性”,改善用户体验的一大途径。业务目标要求1分钟内发送1000万条资讯信息,查询QPS要求1万以上。原来系统需要10分钟才能发送完成,影响客户财经新闻查阅及时性。迁移到分布式数据库平台优化后,1分钟内能发送1200万条,QPS达到1.2万左右,提升客户快速决策体验。
- (1) 数据中台服务
- 解决海量大数据需求
- (1) 历史行情系统
- 裸数据量达到100TB,最大单表行数已达1538亿条,传统的集中式数据库架构无法驾驭。该系统存放了海量level2历史行情系统(Tick级),为高频仿真交易及策略回测平台提供数据完整、系统完备、交易算法与策略专业的交易服务解决方案,向客户提供更丰富和专业的投研服务。当前云原生分布式数据库成功解决容量问题,通过节点扩容线性既提升性能和容量,又保证每秒交易低延时响应。
- (2) 核心交易历史查询系统:原核心交易系统
- (DB2/SQLSERVER)的50TB历史数据全部迁移到信创分布式OB集群,直接面向我司1300万客户提供最近20年的历史交易流水查询,解决远期历史查询必须临柜办理的问题,大大提升客户体验。为首家核心交易系统启用信创云原生分布式数据库的券商。
- (1) 历史行情系统
五、客户收益
合作3年多,招商证券已有百余套系统跑在OceanBase上,既包括核心交易历史数据查询、融券通、客户资产分析系统、客户福利权限中心等一级面客核心交易业务,也包括大投行、风控门户、企业画像等关键业务,还有更多的普通内部管理业务,总共含服务器近百台,裸数据超百TB。
- 稳定性提升用户体验
- 关键业务系统“核心交易历史数据查询”上线2年运行稳定,原先分布在不同数据库的共50TB数据,集中到OceanBase后单副本压缩到5TB,为招商证券千万级用户提供自开户以来的全量交易历史数据查询,解决远期数据查询必须临柜办理的难题,提升用户体验。新一代证券极速交易核心系统吞吐达到峰值10倍,能支持未来亿级用户场景;消息推送系统承载用户瞬时高并发查询的能力提升1倍。
- 总体拥有成本显著降低
- 基于OceanBase原生多租户架构能力实现了原生DBaaS,在一个群集中快速交付Oracle或MySQL兼容模式租户,现有的Oracle和MySQL两种主流数据库系统可快速平滑迁移,有效降低应用改造成本。相比IOE架构,总体拥有成本降低70%。
- 规模化复制
- 通过不断总结使用经验,招商证券总结了一套行之有效的租户资源评估方案,3年期间上线近百套业务系统,并做到自主规划、自主运维,真正实现数据库技术可靠。