服务器(Linux)新账户搭建Pytorch深度学习环境
以前都是用Anaconda管理环境,这次试试Miniconda。二者创建新环境的能力上是完全一样的,区别仅仅在于初始的base环境
中预装的东西多少。
目录
1. 下载并运行Miniconda安装脚本
2. 配置国内镜像源(根据需要配置)
3. conda环境管理的基本命令
4. 安装CUDA
5. 安装cuDNN
6. conda虚拟环境安装CUDA和cuDNN
7. 安装Pytorch
1. 下载并运行Miniconda安装脚本
可以在官网找到相应安装命令:Installing Miniconda - Anaconda
先判断自己的系统类型,命令行输入
uname -m
# 我这里的输出:x86_64
然后找到对应系统类型的安装命令
mkdir -p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.shbash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3rm ~/miniconda3/miniconda.sh
安装完成后刷新一下
source ~/miniconda3/bin/activate
初始化conda
conda init --all
输入以下命令检查是否安装成功
conda --version
conda -V
# 两个命令功能相同
如果不想自动激活base环境
conda config --set auto_activate_base false
最后为了以防万一,再刷新一下
source ~/.bashrc
2. 配置国内镜像源(根据需要配置)
我这里直接把我以前用过的全加进来了,具体哪个是有用的我也不清楚(。ì _ í。)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2/linux-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2/noarch
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/linux-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/noarch
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/linux-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/noarch
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/noarch
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/noarch
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/msys2/linux-64
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/msys2/noarch
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/r/linux-64
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/r/noarch
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/linux-64
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/noarchconda config --set show_channel_urls yes
设置完成后可以用下面的命令查看
conda info
3. conda环境管理的基本命令
# 创建 python = 3.9 的新环境
conda create -n <env_name> python=3.9# 激活环境
conda activate <env_name># 退出环境
conda deactivate# 列出所有环境
conda env list# 删除环境
conda env remove -n <env_name>
4. 安装CUDA
这个是直接安装版本的,要安装在虚拟环境里面可以直接跳到第6步,建议安装在虚拟环境里面。没有管理员权限的安装在虚拟环境里会容易很多。
查看服务器支持的CUDA版本
nvidia-smi
安装的CUDA版本要 ≤ 查询到的版本,并且要有与之对应的Pytorch版本(可以再Pytorch官网查询:Get Started)。
最好不要安装最新版本的,要不然后面可能会有一系列的问题出现。。。这里我安装CUDA 12.6,这个是支持Ubuntu24.04的第一个版本
输入以下命令安装
wget https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda_12.6.0_560.28.03_linux.runsudo sh cuda_12.6.0_560.28.03_linux.run# 非root用户可以不敲 sudo
这里accept
只安装CUDA Toolkit就行,Driver勾选的话会报错(方向键和空格控制)
然后进入Options选项
修改Toolkit Options路径,选择Change Toolkit Install Path,将默认路径修改至个人目录下,点击Enter确认
将下面的选项取消选定,选择Done,确认退出
选择Library install path (Blank for system default)添加之前一样的路径并Enter确认退出
然后选择Done,回到之前步骤Install安装
安装完成会报提示
修改环境变量,命令行输入vim ~/.bashrc,添加以下信息
export CUDA_HOME=$CUDA_HOME:/{your_path}/CUDA12.6
export PATH=$PATH:/{your_path}/CUDA12.6/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/{your_path}/CUDA12.6/lib64
然后刷新一下
source ~/.bashrc
到这里CUDA就安装完成了。可以用 nvcc -V 命令验证是否安装成功
5. 安装cuDNN
查看cuDNN与CUDA版本对应表Support Matrix — NVIDIA cuDNN Backend
通过官网cuDNN 9.12.0 Downloads | NVIDIA Developer下载cuDNN
wget https://developer.download.nvidia.com/compute/cudnn/9.8.0/local_installers/cudnn-local-repo-ubuntu2404-9.8.0_1.0-1_amd64.deb
安装cuDNN
sudo dpkg -i cudnn-local-repo-ubuntu2404-9.8.0_1.0-1_amd64.debsudo cp /var/cudnn-local-repo-ubuntu2404-9.8.0/cudnn-*-keyring.gpg /usr/share/keyrings/sudo apt-get updatesudo apt-get -y install cudnn-cuda-12
到这里,如果没有root权限,无法sudo安装的话,上面这个安装方式是行不通的,智能安装8.x版本的cuDNN,下载其压缩包,解压后替换相应文件(如果有9.x的压缩包可以在评论区留个链接,好人一生平安(。ì _ í。))
选择需要的版本,下载下来上传到服务器,然后解压文件
tar -zxvf cudnn*.tgz
此时当前目录下会出现一个cuda文件夹,复制其中的文件到CUDA安装目录
cp cuda/include/cudnn.h ../CUDA12.6/include/
cp cuda/lib64/libcudnn* ../CUDA12.6/lib64/
修改权限后,cudnn安装完成
chmod a+r ../CUDA12.6/include/cudnn.h ../CUDA12.6/lib64/libcudnn*
6. conda虚拟环境安装CUDA和cuDNN
虚拟环境里安装省事,省心,强烈推荐!!!
首先查看源内所有的cuda 版本以及下载地址
conda search cudatoolkit --info
复制url字段里的下载链接,然后执行如下代码下载
wget https://repo.anaconda.com/pkgs/main/linux-64/cudatoolkit-11.8.0-h6a678d5_0.conda
进入目标环境后(conda activate py39)再执行安装命令
conda install cudatoolkit-11.8.0-h6a678d5_0.conda
要卸载CUDA可用如下命令
conda remove cuda
查看cudnn支持的cuda版本,注意cudnn的版本一定要和刚刚下载的cuda版本对应。
conda search cudnn --info
还是使用wget + url下载,然后安装
wget https://repo.anaconda.com/pkgs/main/linux-64/cudnn-8.9.2.26-cuda11_0.condaconda install cudnn-8.9.2.26-cuda11_0.conda
在虚拟环境中安装完cuda和cudnn想要测试是否安装成功,不能使用nvcc -V命令测试,需要在虚拟环境中安装pytorch包进行测试。
7. 安装Pytorch
在官网Previous PyTorch Versions找到所需版本,根据给出的命令安装,安装的时候也是进入虚拟环境后再执行官网给出的命令
测试是否安装成功(CUDA,cuDNN和pytorch)
import torchprint(torch.__version__)
print(torch.cuda.is_available())
print(torch.version.cuda)
print(torch.backends.cudnn.version())
显示如下结果,表示安装成功。
以上内容均为本人多次踩坑后成功搭建好环境的过程记录,希望能帮到有需要的人。