Dify - Embedding Rerank
注意：v100显卡会出现不适配，不推荐使用
1. 安装 Docker
ubuntu 22.04 docker 安装&使用_ubuntu22.04 安装docker-CSDN博客
2. 安装vllm
pip install -U xformers torch torchvision torchaudio triton --index-url https://download.pytorch.org/whl/cu121
pip install modelscope vllm
3. 下载nlp_gte_sentence-embedding_chinese-base开源模型
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('iic/nlp_gte_sentence-embedding_chinese-base')4. 部署Dify到本地
git clone https://github.com/langgenius/dify启动 Dify
-
进入 Dify 源代码的 Docker 目录
cd dify/docker -
复制环境配置文件
cp .env.example .env -
启动 Docker 容器
根据你系统上的 Docker Compose 版本，选择合适的命令来启动容器。你可以通过
$ docker compose version命令检查版本，详细说明请参考 Docker 官方文档：- 如果版本是 Docker Compose V2，使用以下命令：
docker compose up -d- 如果版本是 Docker Compose V1，使用以下命令：
docker-compose up -d
运行命令后，你应该会看到类似以下的输出，显示所有容器的状态和端口映射，通过这些步骤，你可以在本地成功安装 Dify。
修改端口：
如果使用云服务器请先确认暴露端口
以闪电云为例：
sudo apt install rinetd
echo "0.0.0.0 8880 127.0.0.1 9000" > /etc/rinetd.conf
sudo systemctl restart rinetd更新 Dify
进入 dify 源代码的 docker 目录，按顺序执行以下命令：
cd dify/docker
docker compose down
git pull origin main
docker compose pull
docker compose up -d访问 Dify
你可以先前往管理员初始化页面设置设置管理员账户：
# 本地环境
http://localhost/install# 服务器环境
http://your_server_ip/install
Dify 主页面：
# 本地环境
http://localhost# 服务器环境
http://your_server_ip5. 启动 vLLM 的 OpenAI 兼容服务
启动vllm服务
vllm serve /root/.cache/modelscope/hub/models/iic/nlp_gte_sentence-embedding_chinese-base --port 8000 --dtype float16
6.使用OpenAl-API-compatible插件在内网部署
7. 知识库部署Embedding模型
嵌入成功！
8. 下载mxbai-rerank-large-v2开源模型
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('mixedbread-ai/mxbai-rerank-large-v2')
9. 启动 vLLM 的 OpenAI 兼容服务
启动vllm服务
vllm serve /root/.cache/modelscope/hub/models/mixedbread-ai/mxbai-rerank-large-v2 --port 7000 --dtype float16
