OceanBase 数据库与 Google Gemini 集成

更新时间：2026-04-09 14:12:04

OceanBase 数据库提供了向量类型存储、向量索引、embedding 向量搜索的能力。可以将向量化后的数据存储在 OceanBase 数据库，供下一步的搜索使用。

Google Gemini AI 是一系列由 Google 开发的多模态大型语言模型（LLMs）。它被设计为能够理解和处理多种类型的数据，包括文本、代码、图像、音频和视频等。

前提条件

您已完成部署 OceanBase 数据库 V4.3.3 及以上版本并且创建了 MySQL 模式租户。创建租户后，再参考下述步骤操作。
您的环境中已存在可以使用的 MySQL 租户和 MySQL 数据库和账号，并已对数据库账号授读写权限。
安装 Python 3.11 及以上版本。

安装依赖。

python3 -m pip install pyobvector requests google-genai tqdm

确保您已经在租户中设置了 ob_vector_memory_limit_percentage 配置项，以启用向量检索功能。V4.3.5 BP3 之前的版本推荐设置值为 30，从 V4.3.5 BP3 版本开始推荐保持默认值 0。如需更精确设置此配置项，请参考 ob_vector_memory_limit_percentage 计算此值。

步骤一：获取数据库连接信息

联系 OceanBase 数据库部署人员或者管理员获取相应的数据库连接串，例如：

obclient -h$host -P$port -u$user_name -p$password -D$database_name

参数说明：

$host：提供 OceanBase 数据库连接 IP。OceanBase 数据库代理（OceanBase Database Proxy，ODP）连接方式使用的是一个 ODP 地址；直连方式使用的是 OBServer 节点的 IP 地址。
$port：提供 OceanBase 数据库连接端口。ODP 连接的方式默认是 2883，在部署 ODP 时可自定义；直连方式默认是 2881，在部署 OceanBase 数据库时可自定义。
$database_name：需要访问的数据库名称。

注意

连接租户的用户需要拥有该数据库的 CREATE、INSERT、DROP 和 SELECT 权限。更多有关用户权限的信息，请参见 MySQL 模式下的权限分类。
$user_name：提供租户的连接账户。ODP 连接的常用格式：用户名@租户名#集群名 或者 集群名:租户名:用户名；直连方式格式：用户名@租户名。
$password：提供账户密码。

更多连接串的信息，请参见通过 OBClient 连接 OceanBase 租户。

步骤二：构建您的 AI 助手

设置环境变量

获取 Google Gemini 的 API 和 OceanBase 连接信息并配置环境变量中。

export OCEANBASE_DATABASE_URL=YOUR_OCEANBASE_DATABASE_URL
export OCEANBASE_DATABASE_USER=YOUR_OCEANBASE_DATABASE_USER
export OCEANBASE_DATABASE_DB_NAME=YOUR_OCEANBASE_DATABASE_DB_NAME
export OCEANBASE_DATABASE_PASSWORD=YOUR_OCEANBASE_DATABASE_PASSWORD
export GEMINI_API_KEY=YOUR_GEMINI_API_KEY

示例代码片段

加载数据

这里以 text-embedding-004 为例，使用 Google Gemini AI 嵌入 API 生成向量数据：

from google import genai
from glob import glob
from tqdm import tqdm
import os
from google.genai import types
from sqlalchemy import Column, Integer, String
from pyobvector import ObVecClient, VECTOR, IndexParam, l2_distance

documents = [
"Artificial intelligence was founded as an academic discipline in 1956.",
"Alan Turing was the first person to conduct substantial research in AI.",
"Born in Maida Vale, London, Turing was raised in southern England.",
]

genai_client=genai.Client(api_key=os.environ["GEMINI_API_KEY"])
def embed_documents_in_batches(documents, batch_size=100):
    all_embeddings = []
    for i in range(0, len(documents), batch_size):
        batch = documents[i:i + batch_size]
        response = genai_client.models.embed_content(
            model="text-embedding-004",
            contents=batch,
            config=types.EmbedContentConfig(output_dimensionality=768)
        )
        all_embeddings.extend(response.embeddings)
            
    return all_embeddings


embeddings = embed_documents_in_batches(documents)

data = []
for i, line in enumerate(tqdm(documents, desc="Creating embeddings")):
    data.append({"text": line ,"embedding": embeddings[i].values})

定义向量表结构并将向量并存入 OceanBase

创建一个名为 gemini_oceanbase_demo_documents 的表，包含存储文本的 text 列、存储嵌入向量的 embedding 列和向量索引信息。并向量数据存入 OceanBase：

OCEANBASE_DATABASE_URL = os.getenv('OCEANBASE_DATABASE_URL')
OCEANBASE_DATABASE_USER = os.getenv('OCEANBASE_DATABASE_USER')
OCEANBASE_DATABASE_DB_NAME = os.getenv('OCEANBASE_DATABASE_DB_NAME')
OCEANBASE_DATABASE_PASSWORD = os.getenv('OCEANBASE_DATABASE_PASSWORD')

client = ObVecClient(uri=OCEANBASE_DATABASE_URL, user=OCEANBASE_DATABASE_USER,password=OCEANBASE_DATABASE_PASSWORD,db_name=OCEANBASE_DATABASE_DB_NAME)

table_name = "gemini_oceanbase_demo_documents"
client.drop_table_if_exist(table_name)

cols = [
    Column("id", Integer, primary_key=True, autoincrement=True),
    Column("text", String(10000), nullable=False),
    Column("embedding", VECTOR(768))
]

# Create vector index
vector_index_params = IndexParam(
    index_name="idx_question_embedding",
    field_name="embedding",  
    index_type="HNSW",
    distance_metric="l2"
)

client.create_table_with_index_params(
    table_name=table_name,
    columns=cols, 
    vidxs=[vector_index_params]
)
print('- Inserting Data to OceanBase...')
client.insert(table_name, data=data)

语义搜索

通过 text-embedding-004嵌入模型生成查询文本的嵌入向量，然后根据查询文本的嵌入向量与向量表中的每个嵌入向量的 l2 距离，搜索最相关的文档：

question = "When was artificial intelligence founded?"

quest_embed = genai_client.models.embed_content(model="text-embedding-004", contents=question)
search_res = client.ann_search(
    table_name,
    vec_data=quest_embed.embeddings[0].values,
    vec_column_name="embedding",
    distance_func=l2_distance,
    with_dist=True,
    topk=1, 
    output_column_names=["id","text"], 
)

print('- The Most Relevant Document and Its Distance to the Query:')
for row in search_res.fetchall():
    print(f'  - ID: {row[0]}\n'
          f'    content: {row[1]}\n'
          f'    distance: {row[2]}')

预期结果

  - ID: 1
    content: Artificial intelligence was founded as an academic discipline in 1956.
    distance: 0.6019276093082409