当前位置：首页 > ds >正文

ChromaDB调用BGE模型的两种实践方式

ds 2025/5/10 1:56:42

ChromaDB调用BGE模型

前言
- 1.chromadb调用BGE模型api
- 2.调用本地模型

前言

在语义搜索、知识库构建等场景中，文本向量化（Embedding）是核心技术环节。作为一款开源的向量数据库，ChromaDB允许开发者通过自定义嵌入函数灵活对接各类模型。本文将详细介绍两种基于BGE模型的实现方案：远程API调用与本地模型部署，并解析它们的应用场景与实现细节。

1.chromadb调用BGE模型api

此api接口是Ollama接口方式：

关键点解析：

API服务对接：通过HTTP POST请求调用部署在9.1.47.89:11434的Ollama服务
模型指定：使用bge-m3:latest模型的最新版本
超时控制：设置30秒超时避免长期阻塞
异常处理：非200状态码时抛出详细错误信息

import requests
from chromadb.api.types import Documents, EmbeddingFunction, Embeddingsclass MyEmbeddingFunction(EmbeddingFunction):def __call__(self, texts: Documents) -> Embeddings:# 调用远程Ollama服务的BGE-M3模型response = requests.post("http://9.1.47.89:11434/v1/embeddings",json={"model": "bge-m3:latest","input": texts},timeout=30  # 增加超时设置)if response.status_code == 200:return [vec['embedding'] for vec in response.json()['data']]else:raise Exception(f"Embedding API调用失败: {response.text}")# 初始化自定义嵌入函数
ef = MyEmbeddingFunction()

注意不同版本之间的访问方式可能不一致。“http://9.1.47.89:11434/v1/embeddings”,可修改为"http://9.1.47.89:11434/api/embeddings"。

[vec[‘embedding’] for vec in response.json()[‘data’]]中的"data"可修改为“embeddings”。都可进行尝试。

2.调用本地模型

from chromadb.api.types import Documents, EmbeddingFunction, Embeddings
from sentence_transformers import SentenceTransformer
model_path = "emmodel/bge-large-zh-v1.5"
model = SentenceTransformer(model_name_or_path=model_path)class MyEmbeddingFunction(EmbeddingFunction):def __call__(self, texts: Documents) -> Embeddings:embeddings = [model.encode(x).tolist() for x in texts]return embeddingsef = MyEmbeddingFunction()

关键点解析：
本地模型加载：使用sentence-transformers库加载预训练模型
路径指定：从emmodel/目录加载bge-large-zh-v1.5模型文件
批量编码：对输入文本列表进行并行向量化

模型准备：

# 下载官方模型
git clone https://www.modelscope.cn/company/BAAI/bge-large-zh-v1.5.git# 或使用huggingface-hub
from huggingface_hub import snapshot_download
snapshot_download(repo_id="BAAI/bge-large-zh-v1.5")