深度学习环境搭建运行(二) Ubuntu22.04安装基于CUDA11.8的ONNXRuntime-gpu1.18.1详细步骤(新手入门)

深度学习环境搭建运行(二) Ubuntu22.04安装基于CUDA11.8的ONNXRuntime-gpu1.18.1详细步骤(新手入门)

避坑指南！Ubuntu 22.04 保姆级安装 CUDA 11.8 + ONNXRuntime-gpu1.18.1。新手零失败，手把手带你成功配置深度学习环境！

前文链接请参考：深度学习环境搭建运行(一) Ubuntu22.04 系统安装 CUDA11.8 和 CUDNN8.6.0 详细步骤(新手入门)

1）安装gpu版本

参考版本链接：https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements

选择适合系统cuda和cudnn版本的onnxruntime-gpu

见图：

#—# 执行指令：

(default) root@vphlhycvfilovpqi-snow-5dd4c6b7b5-zbdgl:/data/coding/xm_projects# pip install onnxruntime-gpu==1.18.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

2）验证onnxruntime-gpu是否可用

就是一段python脚本verify_env.py：

# 检查安装的ONNX Runtime版本：
import onnxruntime as ortprint(ort.__version__)# 检查ONNX Runtime是否识别到了GPU
providers = ['CUDAExecutionProvider']# session = ort.InferenceSession('./onnxocr/models/ppocrv4/cls/cls.onnx', providers=providers)
# session = ort.InferenceSession('./onnxocr/models/ppocrv4/det/det.onnx', providers=providers)
# session = ort.InferenceSession('./onnxocr/models/ppocrv4/rec/rec.onnx', providers=providers)
# session = ort.InferenceSession('./onnxocr/models/ppocrv5/cls/cls.onnx', providers=providers)
session = ort.InferenceSession('./onnxocr/models/ppocrv5/det/det.onnx', providers=providers)
# session = ort.InferenceSession('./onnxocr/models/ppocrv5/rec/rec.onnx', providers=providers)# 如果输出列表中包含 CUDAExecutionProvider，这表明ONNX Runtime已经安装了GPU支持，并且准备好使用GPU进行推理
print(session.get_providers())

#—# 执行指令：

(default) root@vphlhycvfilovpqi-snow-5dd4c6b7b5-zbdgl:/data/coding/xm_projects/onnxocr_v5# python verify_env.py 
1.18.1
['CUDAExecutionProvider', 'CPUExecutionProvider']

#—# 额外依赖库安装(optional)：

(default) root@vphlhycvfilovpqi-snow-5dd4c6b7b5-zbdgl:/data/coding/xm_projects# pip install shapely pyclipper -i https://pypi.tuna.tsinghua.edu.cn/simple

<<<打印版本号，表示安装成功，基于CUDA11.8的ONNXRuntime-gpu1.18.1至此安装完成>>>

额外说明：
要求
‘’‘有关 ONNX Runtime 推理包的官方 GPU 包依赖项，请参考下面的表格。请注意，ONNX Runtime 训练与 PyTorch CUDA 版本保持一致；有关支持的版本，请参考onnxruntime.ai上的 “优化训练” 选项卡。
由于 NVIDIA CUDA 次要版本兼容性基于 cuDNN 8.x 构建的 ONNX Runtime 与 cuDNN 9.x 不兼容，反之亦然。您可以根据与运行时环境匹配的 CUDA 和 cuDNN 主版本选择包（例如，PyTorch 2.3 使用 cuDNN 8.x，而 PyTorch 2.4 及更高版本使用 cuDNN 9.x）。
注意：从 1.19 版本开始，在 PyPI 中分发ONNX Runtime GPU 包时，CUDA 12.x成为默认版本。
为减少 CUDA 和 cuDNN 的手动安装需求，并确保 ONNX Runtime 与 PyTorch 之间的无缝集成，onnxruntime-gpu Python 包提供了适当加载 CUDA 和 cuDNN 动态链接库（DLL）的 API。有关更多详细信息，请参考与 PyTorch 的兼容性和预加载 DLL部分。’‘’