14-Oracle 23ai Vector Search 向量索引和混合索引-实操
一、Oracle 23ai支持的2种主要的向量索引类型：
1.1 内存中的邻居图向量索引 (In-Memory Neighbor Graph Vector Index)
HNSW(Hierarchical Navigable Small World ：分层可导航小世界)索引 是 Oracle AI Vector Search 中唯一支持的内存邻居图向量索引类型。基于HNSW图算法，通过多层图结构加速搜索。
HNSW索引在23ai版本引入的新的内存结构：向量内存池（Vector Memory Pool）中创建；向量内存池（Vector Memory Pool）位于SGA中，Oracle通过 vector_memory_size参数控制这块内存的大小。Oracle 23 ai free目前的版本需要设置 vector_memory_size后，shutdown immediate ，startup
0. HNSW 索引原理详解
HNSW（Hierarchical Navigable Small World）是一种高效的高维向量近似最近邻搜索算法，其核心思想是通过构建多层图结构来加速相似性搜索。以下是其工作原理的深入解析：
1. 基础概念：小世界网络
- 核心特性：任意两个节点可通过少量边连接（类似社交网络中的"六度空间"理论）
- HNSW 创新点：将小世界特性分层实现，形成可导航的层级结构
-
2. 多层图结构构建
HNSW 构建一个由多层组成的图（Layer 0 到 Layer L）：层级特性：- 高层（Layer L）：节点稀少，长距离连接（快速导航）
- 底层（Layer 0）：包含所有节点，密集连接（精确搜索）
- 节点进入规则：随机分配层级（概率随层级升高指数下降）
3. 搜索流程（查询向量 Q）
顶层导航（粗粒度）：
- 从最高层随机节点开始
- 沿"长距离边"快速跳转到目标区域
逐层细化：
- 每下降一层，使用更密集的连接
- 逐步缩小搜索范围
底层精确搜索：
- 在 Layer 0 执行贪婪遍历
- 从上层确定的入口点开始
- 不断跳转到更近的邻居，直到找到局部最优
4. HNSW 高效特性
层级漏斗效应：
- 高层快速定位区域（减少 90%+ 搜索量）
- 底层精确定位目标
小世界特性：
- 平均路径长度：O(log N)
- 聚类系数高（相似节点紧密连接）
动态平衡：
- 插入/删除时自动重连最优邻居
- 保持图的导航性不变
5. Oracle 如何实现HNSW
内存优化：
- 全内存存储（SGA 的向量内存池）
- 通过 vector_memory_size 控制内存分配
参数控制：
CREATE VECTOR INDEX ... PARAMETERS (TYPE HNSW,NEIGHBORS 64, -- 每层最大邻居数 (M)EFCONSTRUCTION 500 -- 构建候选数
)1.2 磁盘上的邻居分区矢量索引 (Neighbor Partition Vector Index)
IVF（Inverted File Flat ：倒排文件扁平) 索引是一种基于分区的向量索引技术，是 Oracle AI Vector Search 中唯一支持的邻居分区向量索引类型。IVF索引在磁盘上创建，并且和其他数据块一样可以缓存在buffer cache。
0. IVF 索引原理深度解析
IVF（Inverted File Flat）是一种基于空间划分的高效向量索引方法，通过分区聚类技术实现大规模向量数据的快速近似最近邻搜索
1. 空间分区：构建向量空间地图
关键步骤：
- 使用 K-means 算法将 N 个向量聚类成 K 个分区（K << N）
- 每个分区由聚类中心（质心）代表
- 构建倒排索引：中心点 → 所属向量列表
Oracle 参数控制：
PARAMETERS (TYPE IVF,NEIGHBOR PARTITIONS 1000, -- 分区数KSAMPLES_PER_PARTITION 1000 -- 聚类采样数
)2. 搜索流程：三阶段过滤
粗搜索（Coarse Search）：
- 计算查询向量与所有聚类中心的距离
- 选择距离最近的 M 个分区（M << K）
- Oracle 优化：使用 VECTOR_IVF_PROBE 提示控制 M 值
精细搜索（Fine Search）：
- 在选中的 M 个分区内进行线性扫描
- 计算查询向量与分区内所有向量的距离
结果合并：
- 从 M 个分区中收集候选向量
- 按距离排序返回 Top-K 结果
4. Oracle 如何实现IVF
磁盘存储结构： 
智能缓存机制：
- 热分区自动缓存在 Buffer Cache
- 冷分区按需从磁盘加载
- 通过 DBMS_VECTOR 包预加载：
EXEC DBMS_VECTOR.LOAD_IVF_PARTITIONS('idx_ivf', 50); 动态再平衡 ：
- 定期重新计算聚类中心
- 增量添加新向量时自动调整分区
- 重建索引维护窗口：
ALTER INDEX idx_ivf REBUILD PARAMETERS('NEIGHBOR_PARTITIONS 2000');
1.3 Oracle 23ai支持的向量索引的特性：
向量索引
- 加速高维向量的相似性搜索（如欧氏距离、余弦相似度）
- 两种类型：HNSW（内存图结构）和 IVF（磁盘分区结构）
混合向量索引
结合向量搜索与文本搜索（如 DBMS_VECTOR_CHAIN 包），支持多模态查询（文本+向量）
1.4 索引选择
在 Oracle 中，HNSW 特别适合需要亚秒级响应的场景（如：实时推荐系统）， IVF 更适合超大规模数据集（10亿+向量）。在 Oracle 中处理 >1亿向量时，IVF 相比 HNSW 可降低 5-10 倍内存占用，同时保持 90%+ 召回率。通过调整 NEIGHBOR_PARTITIONS 和 VECTOR_IVF_PROBE 可实现精度与速度的平衡。
二、创建向量索引的实操过程
1. HNSW 索引
实际运行，其中--参数解释：
CREATE VECTOR INDEX idx_hnsw ON fashion_items2 (FEATURES)ORGANIZATION INMEMORY NEIGHBOR GRAPHDISTANCE COSINE -- 相似度计算方式（余弦）WITH TARGET ACCURACY 95 -- 目标精度%PARAMETERS (TYPE HNSW,NEIGHBORS 64, -- 每层最大邻居数（1-2048）EFCONSTRUCTION 500 -- 构建候选数（1-65535）)PARALLEL 4; -- 并行构建 特点：
- - 存储在 SGA 的向量内存池（vector_memory_size 控制大小）
- - 低延迟查询（毫秒级响应）
- - 适用场景：实时推荐系统、小数据集高速搜索
CREATE VECTOR INDEX idx_hnsw ON fashion_items2 (FEATURES) ORGANIZATION INMEMORY NEIGHBOR GRAPH DISTANCE COSINE WITH TARGET ACCURACY 952 PARAMETERS (3 TYPE HNSW,4 NEIGHBORS 64,5 EFCONSTRUCTION 5006 )7 PARALLEL 4;索引已创建。SYS@FREE> DESC fashion_items2名称 是否为空? 类型----------------------------------------------------------------- -------- --------------------------------------------ITEM_ID NUMBERFEATURES VECTOR(*, *, DENSE)SYS@FREE> 特点：
- 存储在磁盘（可缓存在 Buffer Cache）
- 高吞吐量，适合亿级向量
- 适用场景：大规模图像检索、生物特征库搜索
3. 混合向量索引实操
结合文本搜索与向量搜索的跨模态查询：
-- 创建包含文本和向量的表
CREATE TABLE hybrid_data (id NUMBER PRIMARY KEY,description VARCHAR2(4000),text_embedding VECTOR,image_embedding VECTOR
);-- 创建文本索引
CREATE INDEX idx_text ON hybrid_data (description) INDEXTYPE IS CTXSYS.CONTEXT;-- 创建向量索引
CREATE VECTOR INDEX idx_vec ON hybrid_data (image_embedding)ORGANIZATION INMEMORY NEIGHBOR GRAPHDISTANCE COSINE;-- 混合搜索：文本匹配 + 图像相似度
SELECT id, description
FROM hybrid_data
WHERE CONTAINS(description, '自然风光') > 0 -- 文本搜索AND VECTOR_DISTANCE(image_embedding, :query_vec, COSINE) < 0.2 -- 向量搜索
ORDER BY SCORE(1) DESC;
SP2-0552: 未声明绑定变量 "QUERY_VEC"。需要设定变量
帮助：https://docs.oracle.com/error-help/db/sp2-0552/
SYS@FREE>