Linux服务器 TensorFlow找不到GPU
记录一下这次长达两天的心累Debug：Could not find cuda drivers on your machine, GPU will not be used.，先说一下我的项目情况
使用VSCode ssh连接实验室服务器，无root权限，不能使用sudo指令，Linux系统，Jupyter项目
使用Anaconda创建虚拟环境
主要抗争的内容是Cuda，cudnn，TensorFlow
先直接说痛点，和我情况类似的朋友出问题的方向可能有两个
1.1 cuda，cudnn，TensorFlow版本不匹配
我最终跑通的版本是cuda11.8，cudnn8.9，tensorflow2.10
验证手段：CodeCell输入
import tensorflow as tf
gpus = tf.config.experimental.list_physical_devices(device_type='GPU')
cpus = tf.config.experimental.list_physical_devices(device_type='CPU')
print(gpus, cpus)
print(tf.sysconfig.get_build_info())显示如下
[] [PhysicalDevice(name='/physical_device:CPU:0', device_type='CPU')]
OrderedDict([('cpu_compiler', '/usr/lib/llvm-16/bin/clang'), ('cuda_compute_capabilities', ['sm_35', 'sm_50', 'sm_60', 'sm_70', 'sm_75', 'compute_80']), ('cuda_version', '11.8'), ('cudnn_version', '8'), ('is_cuda_build', True), ('is_rocm_build', False), ('is_tensorrt_build', True)])尤其这个部分
可以卸载当前的cuda，cudnn重新下载试一下
参考Could not find cuda drivers on your machine, GPU will not be used. - 知乎 (zhihu.com)
1.2VS Code 启动的 Jupyter/Python 进程并不会再次 source ~/.bashrc，所以拿不到那些环境变量
在 VS Code 的 Interactive（Code Cell）里，Python 进程往往并不会走你在终端里“登录时”自动加载的 ~/.bashrc（或 ~/.bash_profile）那一套流程。换句话说，即使你在 ~/.bashrc 里把 CUDA 11.8/CuDNN 8.8 路径都导出了，VS Code 启动的 Jupyter/Python 进程并不会再次 source ~/.bashrc，所以拿不到那些环境变量，自然就“看不到”GPU。
验证的方法也很简单，在相应虚拟环境的终端里跑以下代码
python - <<EOF
import tensorflow as tf
print("Built with CUDA:", tf.test.is_built_with_cuda())
print("Physical GPUs:", tf.config.list_physical_devices('GPU'))
EOF
然后若显示True以及有GPU，则验证CodeCell，跑以下代码，结果发现没有GPU的话，说明大概率就是这个问题
import tensorflow as tf
print("Built with CUDA:", tf.test.is_built_with_cuda())
print("Physical GPUs:", tf.config.list_physical_devices('GPU'))1.2.1 找到虚拟环境的根目录
我的虚拟环境叫Karyo_env，在终端输入
conda activate Karyo_env
echo $CONDA_PREFIX
假设输出/data5/chensx/downEnv/Anaconda/envs/Karyo_env
下面我都以我的环境为例，具体使用的时候需要替换掉其中的内容
1.2.2 创建 activate.d 目录
mkdir -p /data5/chensx/downEnv/Anaconda/envs/Karyo_env/etc/conda/activate.d
mkdir -p /data5/chensx/downEnv/Anaconda/envs/Karyo_env/etc/conda/deactivate.d
1.2.3 在 activate.d 里写一个脚本，把所有 export 放进去
建议文件名叫 env_vars_cuda.sh，内容示例：
#!/bin/bash
# ~/.conda/envs/Karyo_env/etc/conda/activate.d/env_vars_cuda.shexport CUDA_HOME=/data5/chensx/cuda11.8
export PATH=$CUDA_HOME/bin:$PATHexport CUDNN_HOME=/data5/chensx/cudnn-linux-x86_64-8.8.1.3_cuda11-archiveexport LD_LIBRARY_PATH=$CUDA_HOME/lib64:$CUDNN_HOME/lib64:/data5/chensx/downEnv/Anaconda/lib
export CPATH=$CUDNN_HOME/include:$CPATH
然后保存，并确保它可执行：
chmod +x /data5/chensx/downEnv/Anaconda/envs/Karyo_env/etc/conda/activate.d/env_vars_cuda.sh
1.2.4 在 deactivate.d 里写一个脚本，清理这些变量
否则当你切换到其他环境时，上一次的路径还会留在 LD_LIBRARY_PATH 里。可以在 deactivate.d 下新建 env_vars_cuda_cleanup.sh，内容：
#!/bin/bash
# ~/.conda/envs/Karyo_env/etc/conda/deactivate.d/env_vars_cuda_cleanup.shunset CUDA_HOME
unset CUDNN_HOME
unset CPATH
# 如果你需要保留 Anaconda/lib 路径，可以不用去掉
unset LD_LIBRARY_PATH
再 chmod +x：
chmod +x /data5/chensx/downEnv/Anaconda/envs/Karyo_env/etc/conda/deactivate.d/env_vars_cuda_cleanup.sh
1.2.5 验证
关闭所有 VS Code 窗口，重新打开一个 Remote-SSH 会话，打开任何一个终端，执行：
conda activate Karyo_env
echo $LD_LIBRARY_PATH
-
确保里面包含
/data5/chensx/cuda11.8/lib64、/data5/chensx/cudnn-linux-x86_64-8.8.1.3_cuda11-archive/lib64，且没有/data5/chensx/cuda12.1/lib64。 -
在同一个 VS Code 里，重新选一次 Python Interpreter（点左下角 “Python: …”，选对
Karyo_env）。 -
新开一个 Jupyter Notebook 或者 Code Cell，执行：
-
import tensorflow as tf print("GPU 列表：", tf.config.list_physical_devices('GPU'))
如果输出里包含 GPU:0, GPU:1，证明 VS Code 的 Python Process（Jupyter Kernel）已经拿到了和终端里一模一样的环境变量。
关于前面环境具体怎么配，之后再补坑吧，先去睡觉了
cuDNN Archive | NVIDIA Developer
CUDA Toolkit Archive | NVIDIA Developer