当前位置: 首页 > backend >正文

在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法

定位编译生成的文件

在VS2022编译完成后,在构建目录(如build/Release或build/Debug)中寻找以下关键文件:

ggml.dll、ggml_base.dll、ggml_cpu.dll、ggml_cuda.dll、llama.dll(核心动态链接库)
在这里插入图片描述

llama_cpp.py(Python接口文件)
在这里插入图片描述

其他依赖的DLL(如ggml.dll、CUDA相关DLL等)

部署编译文件

在虚拟环境中创建包目录:

cmd

mkdir myenv\Lib\site-packages\llama_cpp

复制所有编译生成的文件:
在这里插入图片描述
将上述编译出来的动态库复制到myenv\Lib\site-packages\llama_cpp\lib目录下
将llama_cpp_python\llama_cpp*.py复制到myenv\Lib\site-packages\llama_cpp目录下

copy path\to\build\Release\*.pyd myenv\Lib\site-packages\llama_cpp
copy path\to\llama_cpp_python\llama_cpp\*.py myenv\Lib\site-packages\llama_cpp

复制CUDA DLL(如需要,我这测试是不需要的):

cmd
copy “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin\cudart64_*.dll” myenv\Lib\site-packages\llama_cpp

http://www.xdnf.cn/news/10950.html

相关文章:

  • Delphi 设置文件 永久只读
  • java30
  • 《TCP/IP 详解 卷1:协议》第4章:地址解析协议
  • 2025.6.3总结
  • 【记录】Python|Python支持if 1<a<2、if not a、if a is None这三种写法
  • JavaScript 对象展开语法
  • java29
  • 信息过载时,如何筛选重要信息
  • 把两个标签内容显示在同一行
  • BSRR对比BRR对比ODR
  • MySQL - Windows 中 MySQL 禁用开机自启,并在需要时手动启动
  • Vue3 中使用 i18n
  • 【MATLAB去噪算法】基于CEEMD联合小波阈值去噪算法(第三期)
  • 离散数学_数理逻辑(二):命题逻辑的推理
  • CET6 仔细阅读 24年6月第三套-C2 可变性这一块
  • 代码随想录算法训练营第60期第五十六天打卡
  • 系统思考:短期利益与长期系统影响
  • 线程池RejectedExecutionException异常
  • ssh登录wsl2
  • C++ 17中的通用类型any
  • 从“Bucharest”谈起:词语翻译的音译与意译之路
  • Qt 事件传递的完整流程
  • 运维三剑客——awk
  • My Retro App项目开发指南
  • 对 `llamafactory-cli api -h` 输出的详细解读
  • MySQL备份与恢复实战指南
  • 社群营销的一些门道
  • 项目任务,修改svip用户的存储空间。
  • 网络攻防技术八:身份认证与口令攻击
  • 力扣刷题Day 69:搜索二维矩阵(74)