当前位置： 首页 > news >正文

Milvus 向量数据库开发实战指南

news 2025/8/29 5:13:07

Milvus向量数据库是什么？-CSDN博客

一、核心概念解析

1.1 基础概念

1.1.1 Bitset（位集）

  • 高效的数据表示方式，使用位数组替代传统数据类型

  • 默认情况下，位值根据特定条件设置为 0 或 1

1.1.2 通道机制

  • PChannel（物理通道）：对应日志存储主题，系统启动时分配256个

  • VChannel（逻辑通道）：代表集合中的分片，逻辑独立但物理资源共享

1.1.3 数据组织结构

  • Collection（集合）：相当于关系型数据库中的表

  • Partition（分区）：集合的物理划分，减少读取负载

  • Segment（段）：自动创建的数据文件，分为增长段和封闭段

  • Sharding（分片）：基于主键哈希的写入负载分发机制

1.1.4 数据元素

  • Entity（实体）：由字段组成的完整数据记录，具备唯一主键

  • Field（字段）：支持标量数据（数字、字符串）和向量数据

  • Embedding Vector：非结构化数据的特征抽象表示

1.1.5 系统依赖

  • etcd：元数据存储

  • MinIO/S3：对象存储

  • Pulsar：快照日志管理

1.2 向量索引

1.2.1 索引类型

  • 内存索引：提升查询性能，每个字段支持单一索引类型

  • ANNS索引：近似最近邻搜索，平衡精度与效率

  • 磁盘索引：需特定硬件和环境支持

1.2.2 索引分类

  • 基于树的索引

  • 基于图的索引

  • 基于哈希的索引

  • 基于量化的索引

1.2.3 数据预处理

  • 归一化处理：将向量转换为范数为1，使内积等于余弦相似度

  • 非结构化数据处理：通过AI/ML模型转换为向量表示

二、连接配置

2.1 网络配置

bash

# 默认端口配置
GRPC_PORT=19530    # SDK连接端口
REST_PORT=9091     # HTTP接口端口

2.2 客户端连接

java

// 创建连接实例
public MilvusServiceClient createClient(String host, int port) {return new MilvusServiceClient(ConnectParam.newBuilder().withHost(host).withPort(port).build());
}// 连接使用示例
MilvusServiceClient client = createClient("localhost", 19530);// 资源释放
client.close();

三、集合管理

3.1 集合创建模板

java

public CreateCollectionParam buildCollectionSchema() {// 主键字段FieldType idField = FieldType.newBuilder().withName("book_id").withDataType(DataType.Int64).withPrimaryKey(true).withAutoID(false).build();// 标量字段FieldType scalarField = FieldType.newBuilder().withName("word_count").withDataType(DataType.Int64).build();// 向量字段FieldType vectorField = FieldType.newBuilder().withName("book_intro").withDataType(DataType.FloatVector).withDimension(128)  // 根据实际维度调整.build();return CreateCollectionParam.newBuilder().withCollectionName("book").withDescription("图书向量数据库").withShardsNum(2).addFieldType(idField).addFieldType(scalarField).addFieldType(vectorField).build();
}

3.2 集合操作工具方法

java

// 检查集合存在性
public boolean collectionExists(MilvusServiceClient client, String collectionName) {R<Boolean> response = client.hasCollection(HasCollectionParam.newBuilder().withCollectionName(collectionName).build());return response.getData() == Boolean.TRUE;
}// 获取集合统计信息
public void printCollectionStats(MilvusServiceClient client, String collectionName) {R<GetCollectionStatisticsResponse> response = client.getCollectionStatistics(GetCollectionStatisticsParam.newBuilder().withCollectionName(collectionName).build());GetCollStatResponseWrapper wrapper = new GetCollStatResponseWrapper(response.getData());System.out.println("总记录数: " + wrapper.getRowCount());
}

四、数据操作

4.1 数据生成与插入

java

public List<InsertParam.Field> generateSampleData(int recordCount, int vectorDimension) {Random random = new Random();// 生成主键数据List<Long> ids = new ArrayList<>();for (long i = 0; i < recordCount; i++) {ids.add(i);}// 生成标量数据List<Long> wordCounts = new ArrayList<>();for (int i = 0; i < recordCount; i++) {wordCounts.add(10000L + i);}// 生成向量数据List<List<Float>> vectors = new ArrayList<>();for (int i = 0; i < recordCount; i++) {List<Float> vector = new ArrayList<>();for (int j = 0; j < vectorDimension; j++) {vector.add(random.nextFloat());}vectors.add(vector);}// 构建字段列表List<InsertParam.Field> fields = Arrays.asList(new InsertParam.Field("book_id", DataType.Int64, ids),new InsertParam.Field("word_count", DataType.Int64, wordCounts),new InsertParam.Field("book_intro", DataType.FloatVector, vectors));return fields;
}// 执行数据插入
public void insertData(MilvusServiceClient client, String collectionName, String partitionName, List<InsertParam.Field> fields) {InsertParam insertParam = InsertParam.newBuilder().withCollectionName(collectionName).withPartitionName(partitionName).withFields(fields).build();R<MutationResult> response = client.insert(insertParam);if (response.getStatus() != R.Status.Success.getCode()) {throw new RuntimeException("插入失败: " + response.getMessage());}
}

4.2 索引管理

java

public void createVectorIndex(MilvusServiceClient client, String collectionName, String fieldName, IndexType indexType, MetricType metricType, String extraParams) {CreateIndexParam indexParam = CreateIndexParam.newBuilder().withCollectionName(collectionName).withFieldName(fieldName).withIndexType(indexType).withMetricType(metricType).withExtraParam(extraParams).withSyncMode(false).build();client.createIndex(indexParam);
}

五、查询与搜索

5.1 混合搜索实现

java

public SearchResults hybridSearch(MilvusServiceClient client, String collectionName,List<List<Float>> queryVectors, String vectorFieldName,String filterExpr, int topK, String searchParams) {// 确保集合已加载client.loadCollection(LoadCollectionParam.newBuilder().withCollectionName(collectionName).build());SearchParam searchParam = SearchParam.newBuilder().withCollectionName(collectionName).withMetricType(MetricType.L2).withOutFields(Arrays.asList("book_id", "word_count")).withTopK(topK).withVectors(queryVectors).withVectorFieldName(vectorFieldName).withExpr(filterExpr).withParams(searchParams).build();R<SearchResults> response = client.search(searchParam);return response.getData();
}

5.2 向量查询示例

java

public QueryResults queryByCondition(MilvusServiceClient client, String collectionName,String queryExpr, List<String> outputFields) {QueryParam queryParam = QueryParam.newBuilder().withCollectionName(collectionName).withConsistencyLevel(ConsistencyLevelEnum.STRONG).withExpr(queryExpr).withOutFields(outputFields).withOffset(0L).withLimit(100L).build();R<QueryResults> response = client.query(queryParam);return response.getData();
}

六、最佳实践

6.1 性能优化建议

  1. 索引选择：根据数据规模和查询模式选择合适的索引类型

  2. 内存管理：控制加载数据量不超过查询节点总内存的90%

  3. 分区策略：合理使用分区减少读取负载，分片分散写入负载

6.2 错误处理机制

java

public <T> T executeWithRetry(MilvusOperation<T> operation, int maxRetries) {int attempt = 0;while (attempt < maxRetries) {try {return operation.execute();} catch (Exception e) {attempt++;if (attempt >= maxRetries) {throw new RuntimeException("操作失败，重试次数耗尽", e);}try {Thread.sleep(1000 * attempt); // 指数退避} catch (InterruptedException ie) {Thread.currentThread().interrupt();throw new RuntimeException("操作被中断", ie);}}}throw new RuntimeException("未知错误");
}interface MilvusOperation<T> {T execute();
}

七、完整示例

7.1 基础操作流程

java

public class MilvusOperations {private MilvusServiceClient client;private String collectionName = "book";public void fullWorkflow() {// 1. 创建连接client = createClient("localhost", 19530);// 2. 创建集合CreateCollectionParam schema = buildCollectionSchema();client.createCollection(schema);// 3. 插入数据List<InsertParam.Field> data = generateSampleData(1000, 128);insertData(client, collectionName, "novel", data);// 4. 创建索引createVectorIndex(client, collectionName, "book_intro", IndexType.IVF_FLAT, MetricType.L2, "{\"nlist\":1024}");// 5. 执行搜索List<List<Float>> queryVector = Arrays.asList(generateRandomVector(128));SearchResults results = hybridSearch(client, collectionName, queryVector, "book_intro", "word_count <= 11000", 10, "{\"nprobe\":10}");// 6. 资源清理client.releaseCollection(ReleaseCollectionParam.newBuilder().withCollectionName(collectionName).build());client.close();}
}

八、依赖配置

8.1 Maven 配置

xml

<dependencies><dependency><groupId>io.milvus</groupId><artifactId>milvus-sdk-java</artifactId><version>2.2.1</version></dependency><!-- 可选：日志框架 --><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-api</artifactId><version>2.0.7</version></dependency>
</dependencies>

8.2 配置建议

  1. 连接池配置：在生产环境中使用连接池管理Milvus连接

  2. 超时设置：根据网络状况调整操作超时时间

  3. 监控集成：集成监控系统跟踪性能指标和错误率

http://www.xdnf.cn/news/1379035.html

相关文章：

  • 基于Vue2+elementUi实现树形 横向 合并 table不规则表格
  • 现代前端状态管理：从原理到实战（Vue/React全栈方案）
  • 笔记本电脑蓝牙搜索不到设备-已解决
  • 算法之排序
  • 媒体查询案例之修改背景颜色
  • 从枯燥C++到趣味音乐：我的Windows系统底层探索之旅
  • TypeScript：never类型
  • C++ RAII 浅谈
  • 从Cgroups精准调控到LXC容器全流程操作​：用pidstat/stress测试Cgroups限流，手把手玩转Ubuntu LXC容器全流程​
  • 冒泡排序算法详解（python code）
  • Two Knights (数学)
  • 大模型微调示例三之Llama-Factory_Lora
  • 【C++详解】用哈希表封装实现myunordered_map和 myunordered_set
  • Kubernetes一Prometheus概述
  • [linux仓库]透视文件IO：从C库函数的‘表象’到系统调用的‘本质’
  • [调试][实现][原理]用Golang实现建议断点调试器
  • 获取小红书某个用户列表
  • 【LeetCode 热题 100】32. 最长有效括号——（解法二）动态规划
  • 集成电路学习：什么是TensorFlow
  • AI实时故障诊断系统（实时采集信号）
  • Python 正则表达式完全指南：从基础语法到实战案例
  • 【从0带做】基于Springboot3+Vue3的呱呱同城（微服务项目）
  • 实现微信小程序的UniApp相机组件：拍照、录像与双指缩放
  • ARM相关的基础概念和寄存器
  • PCIe 5.0 SSD连续读写缓存用完速度会骤降吗？
  • 2024年09月 Python（三级）真题解析#中国电子学会#全国青少年软件编程等级考试
  • 帕累托优化：多目标决策的智慧与艺术
  • 【重学 MySQL】九十二、 MySQL8 密码强度评估与配置指南
  • 关于virtual camera
  • 【C++游记】模板升级