首批通过分布式安全可靠测评,为关键业务系统打造
生态集成
更新时间:2024-10-10 21:51:12
OceanBase 作为一款高性能分布式关系型数据库,已逐步构建起一个集诸多工具于一体的生态系统,简化数据库管理、提升运营效率,并实现与多样化的 IT 环境无缝对接。本文使用部分产品举例介绍 AP 场景下可能涉及到的一些工具,包含数据集成、编排、可视化等领域。
说明
关于 OceanBase 数据库完整的生态集成列表,参见 生态集成概述。
数据集成
数据集成(Data Integration)是一个 IT 过程,旨在将数据从不同来源集中到一个统一的视图中,以支持分析、报告和业务决策。数据可能分散在多个系统中,例如关系数据库、文件、应用程序、NoSQL 数据库和云存储服务。
在数据集成领域中,CDC (Change Data Capture,即变更数据捕获)是一项重要技术,能够帮助您识别从上次提取之后发生变化的数据。您可用 CDC 提供的数据做历史库、近实时缓存、提供给消息队列(MQ),做分析和审计等。
OceanBase 数据库的 Binlog 服务与 MySQL 原生 Binlog 兼容,支持用户复用现有的 MySQL Binlog 增量解析系统来同步 OceanBase MySQL 租户的增量数据,无需更改现有的数据链路。关于 Binlog 服务,更多内容参见 Binlog 日志服务。
OceanBase 数据库可以和各个主流的数据集成产品保持良好的兼容性,包括且不限于以下产品:
| 名称 | 描述 | 相关文档 |
|---|---|---|
| Flink | 一个用于大规模数据处理和分析的开源框架 | 更多内容参见 使用 Flink CDC 从 MySQL 数据库同步数据到 OceanBase 数据库。 |
| Canal | 一个用于数据库同步和集成的变更数据捕获(CDC)框架 | 更多内容参见 使用 Canal 从 MySQL 数据库同步数据到 OceanBase 数据库。 |
| Maxwell | 一个用于 MySQL 数据库的变更数据捕获(CDC)工具 | 更多内容参见 使用 Maxwell 读取 OceanBase 数据。 |
| SeaTunnel | 一个分布式、高性能的数据集成平台,用于数据迁移和实时流处理任务 | 更多内容参见 使用 SeaTunnel 读取和同步 OceanBase 数据。
注意当前处于 Beta 状态,已完成初步测试,待进行深入全面的适配。 |
| Debezium | 开源的企业级通用计算框架,支持多计算引擎的任务调度和管理 | 更多内容参见 使用 Debezium 读取和同步 OceanBase 数据。 |
| DataX | 离线数据同步工具/平台 | 更多内容参见 使用 DataX 迁移 CSV 文件到 OceanBase 数据库。 |
编排调度
在数据集成(Data Integration)领域里,编排(Orchestration)工具是指那些能够管理、调度和协调不同数据处理任务和数据流程的软件工具。这些工具往往提供了一种高级的方式来组织和执行多个数据集成活动,比如数据提取(Extract)、转换(Transform)和加载(Load,即ETL过程),以及数据清洗、校验和发布等任务。
| 名称 | 描述 | 相关文档 |
|---|---|---|
| DolphinScheduler | 开源的分布式工作流任务调度系统,支持多种任务类型 | 更多内容参见 为 DolphinScheduler 配置 OceanBase 数据源。
注意当前处于 Beta 状态,已完成初步测试,待进行深入全面的适配。 |
| Linkis | 开源的企业级通用计算框架,支持多计算引擎的任务调度和管理 | 更多内容参见 Linkis 集成 OceanBase 数据库。 |
可观测
可观测性 (Observability) 通常是指能够监控、追踪、诊断和理解数据处理流程及系统状态的能力。在复杂的数据管道和数据系统中,保持高度的可观测性是非常重要的,这确保了运维团队能够及时发现和响应任何出现的问题,并维持系统的健康和性能。
同时,数据质量是数据集成过程中的一个关键组成部分,并且同样需要很高的可观测性。数据质量可观测性工具允许团队验证数据准确性、一致性和完整性,监测数据是否符合预期的标准,从而确保业务决策能够依托于信任的数据。
| 名称 | 描述 | 相关文档 |
|---|---|---|
| Prometheus | 强大的开源系统监控和警报工具包,专为可靠性和多维度数据收集而设计,广泛用于监控服务和应用程序的健康状况 | 更多内容参见 通过 Prometheus 监控 OceanBase 数据。 |
可视化
数据集成领域中的可视化工具是指那些可以帮助用户通过图形和图表形式来呈现、理解和沟通数据的软件工具。这些工具通常提供了从数据集成流程中获取数据,并将其转换为直观视图的功能,从而使得非技术用户也能够洞察数据背后的趋势和模式。
| 名称 | 描述 | 相关文档 |
|---|---|---|
| Superset | 用于数据探索和可视化的开源业务智能工具 | 更多内容参见 使用 Superset 和 OB Cloud 云数据库进行数据分析。 |
| QuickBI | 一款易用的数据可视化和分析工具,支持快速数据报表生成 | 更多内容参见 在 Quick BI 中连接 OB Cloud 云数据库。 |
| Tableau | 直观的数据可视化工具,用于制作交互式和可分享的报表 | 更多内容参见 在 Tableau 中连接 OB Cloud 云数据库。 |
| PowerBI | 使用 Power BI,可以轻松连接到数据源,可视化并发现重要内容,并根据需要与任何人共享。 | 更多内容参见 在 Power BI 中连接 OceanBase 并获取数据。 |