当前位置: 首页 > ai >正文

LangChain整合Milvus向量数据库实战:数据新增与删除操作

导读:在AI应用开发中,向量数据库已成为处理大规模语义搜索和相似性匹配的核心组件。本文通过详实的代码示例,深入探讨LangChain框架与Milvus向量数据库的集成实践,为开发者提供生产级别的向量数据管理解决方案。

文章聚焦于向量数据库操作的两个关键环节:数据的高效新增和精准删除。通过DashScope嵌入模型的配置与应用,读者将了解如何建立稳定的向量化pipeline,实现从文本内容到向量存储的完整流程。特别值得关注的是,文章详细解析了批量文档插入的ID管理机制,以及基于ID的删除操作如何在分布式环境中保证数据一致性。

概述

本文将详细介绍如何使用LangChain框架整合Milvus向量数据库,重点演示向量数据的新增和删除操作的完整实现过程。通过实际案例,您将掌握在生产环境中管理向量数据库的核心技能。

本文继上一篇文章进一步讲述:新版LangChain向量数据库VectorStore设计详解-CSDN博客

技术需求与目标

本次实战的主要目标包括:

  • 建立LangChain与Milvus向量数据库的集成连接
  • 实现向量数据的批量插入操作
  • 掌握基于ID的数据删除机制
  • 理解向量数据库操作的最佳实践

环境配置与依赖安装

官方文档参考

LangChain官方文档地址:Milvus | 🦜️🔗 LangChain

依赖包安装

pip install langchain_milvus

核心实现代码

导入必要的库文件

from langchain_community.embeddings import DashScopeEmbeddings
# 注意:旧版本使用 from langchain.vectorstores import Milvus
from langchain_milvus import Milvus  # 推荐使用新版本导入方式
from langchain_core.documents import Document

初始化嵌入模型和向量存储

# 配置DashScope嵌入模型
embeddings = DashScopeEmbeddings(model="text-embedding-v2",  # 使用第二代通用文本嵌入模型max_retries=3,dashscope_api_key="sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"  # 请替换为您的实际API密钥
)# 初始化Milvus向量存储
vector_store = Milvus(embeddings,connection_args={"uri": "http://192.168.19.152:19530"},  # Milvus服务器连接地址collection_name="langchain_example",  # 集合名称
)

准备测试数据集

# 创建多样化的文档样本数据
document_1 = Document(page_content="I had chocolate chip pancakes and scrambled eggs for breakfast this morning.",metadata={"source": "tweet"},
)document_2 = Document(page_content="The weather forecast for tomorrow is cloudy and overcast, with a high of 62 degrees.",metadata={"source": "news"},
)document_3 = Document(page_content="Building an exciting new project with LangChain - come check it out!",metadata={"source": "tweet"},
)document_4 = Document(page_content="Robbers broke into the city bank and stole $1 million in cash.",metadata={"source": "news"},
)document_5 = Document(page_content="Wow! That was an amazing movie. I can't wait to see it again.",metadata={"source": "tweet"},
)document_6 = Document(page_content="Is the new iPhone worth the price? Read this review to find out.",metadata={"source": "website"},
)document_7 = Document(page_content="The top 10 soccer players in the world right now.",metadata={"source": "website"},
)document_8 = Document(page_content="LangGraph is the best framework for building stateful, agentic applications!",metadata={"source": "tweet"},
)document_9 = Document(page_content="The stock market is down 500 points today due to fears of a recession.",metadata={"source": "news"},
)document_10 = Document(page_content="I have a bad feeling I am going to get deleted :(",metadata={"source": "tweet"},
)# 将所有文档组织为列表
documents = [document_1, document_2, document_3, document_4, document_5,document_6, document_7, document_8, document_9, document_10,
]

数据插入操作

# 为每个文档生成唯一的ID标识符
ids = [str(i+1) for i in range(len(documents))]
print("生成的文档ID列表:", ids)# 执行批量文档插入操作
result = vector_store.add_documents(documents=documents, ids=ids)
print("插入操作结果:", result)

数据删除操作

# 根据指定ID删除文档
result = vector_store.delete(ids=["1"])
print("删除操作结果:", result)# 删除操作返回的统计信息解释:
# insert count: 插入数量
# delete count: 删除数量  
# upsert count: 更新插入数量
# timestamp: 操作时间戳
# success count: 成功数量
# err count: 错误数量

操作结果分析

删除操作执行后,系统返回详细的统计信息,格式示例如下:

(insert count: 0, delete count: 1, upsert count: 0, timestamp: 456798840753225732, success count: 0, err count: 0)

该结果表明成功删除了一条记录,操作过程中未出现错误。

http://www.xdnf.cn/news/9993.html

相关文章:

  • Centos7.x内网环境Jenkins前端打包环境配置
  • C#定时器深度对比:System.Timers.Timer vs System.Threading.Timer性能实测与选型指南
  • PECVD 生成 SiO₂ 的反应方程式
  • 数据分类分级的实践与反思:源自数据分析、治理与安全交叉视角的洞察
  • Python训练day34
  • LangChain-LangGraph框架 应用实例
  • 超低延迟与高稳定性的行业领先直播解决方案
  • RocketMQ 三大消息类型深度解析:普通消息、延迟消息、事务消息
  • C++ —— B/类与对象(中)
  • Python字典键的使用与应用:从基础到高级实践
  • OCC笔记:BRepMesh_IncrementalMesh的使用
  • python打卡day40@浙大疏锦行
  • 汽车高速通信的EMC挑战
  • Langchain4j Function Calling (5)
  • 关于ffplay在macos上运行奔溃的问题
  • 嵌入式开发学习日志(linux系统编程--进程(4)——线程锁)Day30
  • Google car key:安全、便捷的汽车解锁新选择
  • day40打卡
  • Netty 实战篇:为 Netty RPC 框架引入调用链追踪,实现链路透明化
  • 特伦斯 S75 电钢琴:奏响音乐新时代的华章
  • mongodb集群之分片集群
  • Ubuntu 22.04 系统下 Docker 安装与配置全指南
  • Android JNI开发
  • 大语言模型的技术原理与应用前景:从Transformer到ChatGPT
  • 技术原理简析:卫星遥感如何感知水体环境?
  • 基于Matlab实现卫星轨道模拟仿真
  • 云计算Linux Rocky day02(安装Linux系统、设备表示方式、Linux基本操作)
  • vue2 + webpack 老项目升级 node v22 + vite + vue2 实战全记录
  • 【OpenSearch】高性能 OpenSearch 数据导入
  • OpenTelemetry × Elastic Observability 系列(一):整体架构介绍