当前位置：首页 > news >正文

搭建大模型

news 2025/7/21 15:09:44

环境：在闪电算力云上申请的3090显卡、ubuntu 22.04，安装了显卡驱动、cuda(11.8)、cdunn(8.9.7)、ollama(0.9.6)，使用 ollama 下载 deepseek-llm:7b大模型并运行

1、申请算力云，我用的闪电算力云：登录

登录后在云实例中租用新的实例，我选择的 3090，ubuntu 22.04 纯净版，一块钱一个小时；

实例申请后自动启动，在一键链接中可以看到连接信息，使用 ftp工具进行连接；

实例在运行就就会收费，不需要运行的时候记得关机，否则会一直收费；

2、环境搭建

1、安装 gpu 驱动并重启

sudo ubuntu-drivers autoinstall
                    sudo reboot

                    验证驱动是否安装成功
                     nvidia-smi 能输出驱动版本号

2、添加镜像源

sudo sed -i "s|http://.*archive.ubuntu.com|https://mirrors.aliyun.com|g" /etc/apt/sources.list

3、安装 cuda 存储库

(1)、查看是否有cuda存储库
                ls /etc/apt/sources.list.d/ | grep cuda
(2)、安装 cuda 存储库(本地环境是 ubuntu22.04，根据自己的需要选择存储库)
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
       sudo dpkg -i cuda-keyring_1.1-1_all.deb
       sudo apt update

4、安装 cuda

(1)、安装：sudo apt install -y cuda-toolkit-11-8
(2)、配置环境变量
                        echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc
                        echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
                        source ~/.bashrc
(3)、验证是否安装成功
                nvcc --version

5、安装cudnn

(1)、添加秘钥 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub

(2)、添加存储库
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
sudo apt update 如果出现重复警告，使用步骤6删除重复

(3)、查看cudnn 和 cuda版本对应关系，这里使用 cudnn 8.9.7
       apt-cache madison libcudnn8 libcudnn8-dev

(4)、安装cudnn
       sudo apt install -y libcudnn8=8.9.7.*-1+cuda11.8 \
libcudnn8-dev=8.9.7.*-1+cuda11.8

(5)、验证是否安装成功
cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

                    正常输出
                       #define CUDNN_MAJOR 8
                       #define CUDNN_MINOR 9
                       #define CUDNN_PATCHLEVEL 7

6、删除重复存储库(非必须，在步骤5中出现重复的情况下执行)

1、查看两个源是否重复

cat /etc/apt/sources.list.d/archive_uri-https_developer_download_nvidia_com_compute_cuda_repos_ubuntu2204_x86_64_-jammy.list
cat /etc/apt/sources.list.d/cuda-ubuntu2204-x86_64.list
   如果都输出了 https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/
   则删除一个存储库
   sudo rm /etc/apt/sources.list.d/archive_uri-https_developer_download_nvidia_com_compute_cuda_repos_ubuntu2204_x86_64_-jammy.list

再次执行步骤5中的 sudo apt update 就不应该再警告重复

7、安装 ollama，使用(2)中的加速器方法

(1)、从官网安装，速度非常慢，最少两个小时而且网络不稳定，下载过程中可能会断开，不推荐
       curl -fsSL https://ollama.com/install.sh | sh
       chmod +x install.sh
       ./install.sh

(2)、使用加速器 gh.ddlc.top 下载安装，速度提升20倍以上，如果 gh.ddlc.top 不可用可以换个加速器
export OLLAMA_MIRROR="https://gh.ddlc.top/https://github.com/ollama/ollama/releases/latest/download"
   curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh

启动 ollama 服务
ollama serve &