当前位置: 首页 > ds >正文

零基础入门:MinerU 和 PyTorch、CUDA的关系

💡一句话总结:MinerU 是一个用 PyTorch 跑模型的程序,PyTorch 支持多种加速方式(如 CUDA、MPS),让它跑得快就需要依赖这些加速工具。

PyTorch官网安装教程(可根据系统情况选择不同版本:https://pytorch.org/get-started/locally/)

一张图看清楚它们的关系:

图片

01  先解释一些名词在 MinerU 中的作用:

🔧 PyTorch:是跑深度学习模型的库,有 CPU 和 GPU 版本,简称 torch。MinerU 用它跑公式、OCR、表格等模型,✅ 必须安装。

⚙ torchvision:是 PyTorch 的辅助库,用于图像处理、模型加载等。MinerU 在图像类模型或视觉任务中会用到,✅ 建议安装。

💻 NVIDIA 显卡驱动(Driver):是控制和管理 NVIDIA 显卡硬件的软件层,它是 CUDA 与 GPU 正常通信的基础。如果使用 NVIDIA GPU,✅ 必须安装。

💾 CUDA-Toolkit:是 NVIDIA 提供的一整套 GPU 编程工具,包含 CUDA、cuDNN、编译器等,能提供开发和运行 GPU 应用的完整支持,避免手动配置底层。若用 pip 安装 PyTorch,❌ 可不单独安装。

💿 CUDA:是 NVIDIA 显卡的加速平台,依赖显卡驱动,必须配合 NVIDIA 显卡使用。它能让 PyTorch 用 NVIDIA GPU 跑得更快,使用 NVIDIA GPU 时必须安装,❌ CPU 用户则不需要。

📦 Anaconda:是 Python 科学计算平台,集成大量依赖库,便于管理环境。用它安装 PyTorch 等依赖更方便,也可避免系统冲突,❌ 推荐新手或团队开发使用。

🔖 MPS:是 Apple macOS M 系列芯片的 Metal 加速接口,Mac 上用来调用 Apple 芯片 GPU,❌ 只在 macOS 上使用。

🚀小科普:CUDA 主要适用于安装了 NVIDIA 显卡的 Linux 和 Windows 系统;MacOS 用 MPS 加速。

02  只想 MinerU 运行(不求快):

MinerU 运行依赖 PyTorchtorchvision,你可以只装 PyTorch torchvision 的CPU 版本

pip install torch torchvision  # 用 CPU 跑,速度慢,但简单

然后再安装 MinerU,详见:https://github.com/opendatalab/MinerU/blob/master

接下来就可以使用 MinerU 解析 pdf 文件了。

03  想要 MinerU 加速运行:

要根据你所使用的平台和硬件选择合适的方式:

1. Windows(装有 NVIDIA 显卡)的加速方式:

注意!需要您的显卡是2017年后生产的带有 Tensor Core 的显存 6 GB以上,可进行以下流程,并测试CUDA 推理加速效果:

● 安装 NVIDIA 显卡驱动:它们通常包括了支持 CUDA 的相关软件包

● 安装 CUDA Toolkit:(需要安装符合 Pytorch 要求的 CUDA 版本,MinerU 目前支持Pytorch的版本为 11.8/12.4/12.6/12.8)

- CUDA 11.8 下载地址:https://developer.nvidia.com/cuda-11-8-0-download-archive

- CUDA 12.4 下载地址:https://developer.nvidia.com/cuda-12-4-0-download-archive

- CUDA 12.6 下载地址:https://developer.nvidia.com/cuda-12-6-0-download-archive

- CUDA 12.8 下载地址:https://developer.nvidia.com/cuda-12-8-0-download-archive

● 安装 Python 与 Anaconda (如果已安装,可以跳过本步骤)

● 安装 MinerU,详见:https://github.com/opendatalab/MinerU/blob/master

● 覆盖安装支持 CUDA 的 PyTorch 和 torchvision (请根据CUDA版本选择合适的index-url,具体可参考torch官网)

pip install --force-reinstall torch torchvision --index-url https://download.pytorch.org/whl/cu124

● 修改配置文件:将【用户目录】中配置文件 magic-pdf.json 中 device-mode 的值改为 "cuda"

{    // other config    "device-mode": "cuda"}

2. Ubuntu 22.04 LTS加速方式:

● 检测是否已安装 NVIDIA 显卡驱动

nvidia-smi

如果看到类似如下的信息,说明已经安装了nvidia驱动,可以跳过下一条安装步骤(⚠️CUDA Version 显示的版本号应 >= 12.4,如显示的版本号小于12.4,请升级驱动)

+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.133.07             Driver Version: 572.83         CUDA Version: 12.8   |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                     TCC/WDDM  | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 3060 Ti   WDDM  | 00000000:01:00.0  On |                  N/A |
|  0%   51C    P8              12W / 200W |   1489MiB /  8192MiB |      5%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+

● 安装 NVIDIA 显卡驱动

如没有驱动,则通过如下命令安装专有驱动​​​​​​​

sudo apt-get updatesudo apt-get install nvidia-driver-570-server

安装完成后,重启电脑

reboot

● 安装  Anaconda(如果已安装Anaconda  ,可以跳过本步骤)

wget -U NoSuchBrowser/1.0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2024.06-1-Linux-x86_64.sh
bash Anaconda3-2024.06-1-Linux-x86_64.sh

    最后一步输入   yes  ,关闭终端重新打开。

    ● 安装 MinerU

    ● 修改配置文件:修改【用户目录】中配置文件 magic-pdf.json 中 device-mode 的值​​​​​​​

    {    // other config    "device-mode": "cuda"}

    3. MacOS(M 系列芯片)的加速方式:

    ● 安装 Anaconda

    ● 安装 MinerU,详见:https://github.com/opendatalab/MinerU/blob/master

    ● 修改配置文件:MacOS 支持 MPS 加速(苹果自家的加速后端),只需要安装 MinerU 后,在 magic-pdf.json 配置文件中将 device-mode 参数设置为 "mps" 来启用 MPS 加速​​​​​​​

    {    // other config    "device-mode": "mps"}

    04  🧩总结

    ● PyTorch 是 MinerU 运行必须安装的核心库

    ● CUDA、MPS 是 MinerU 的加速方式,因平台和硬件不同而异

    ● MinerU​​​​​​​ 间接利用这些加速方式来提速模型运行

    http://www.xdnf.cn/news/8125.html

    相关文章:

  • Facebook广告如何投放保健品类别?
  • Python爬虫(33)Python爬虫高阶:动态页面破解与验证码OCR识别全流程实战
  • Second-Brain 如何用 NocoBase 为金融企业构建 AI 系统
  • Nginx 代理Https服务
  • python调wfdb库读心电数据库的注释文件中NUL问题
  • [免费]微信小程序宠物医院管理系统(uni-app+SpringBoot后端+Vue管理端)【论文+源码+SQL脚本】
  • el-table高度自适应、数据查询后高度展示错误问题
  • LeRobot的机器人控制系统(下)
  • 【缓存】JAVA本地缓存推荐Caffeine和Guava
  • 现代生活的健康密钥:养生新法则
  • uniapp实现大视频文件上传-- 阿里云oss直传方式 - app、H5、微信小程序
  • springboot使用jdk17快速搭建教程
  • 【sylar-webserver】10 HTTP模块
  • 【Linux 学习计划】-- 倒计时、进度条小程序
  • 【ffmpeg】编解码器
  • 前端父元素flex布局设置左右padding时,input溢出父元素右内边距无效
  • Android 直播播放器FFmpeg静态库编译实战指南(NDK r21b)
  • 数仓-概念模型、逻辑模型、物理模型介绍
  • 2025版 JavaScript性能优化实战指南从入门到精通
  • flask允许跨域访问如何设置
  • 探秘 C++ 计数器类:从基础实现到高级应用
  • MySQL与Redis数据同步实践与优化
  • 力扣第450场周赛
  • 技术分享:大数据挖掘平台架构设计与行业应用实践
  • audio结构体 audio_track_cblk_t
  • 技术点对比
  • NSSCTF [watevrCTF 2019]Wat-sql
  • 跨境电商合规生存指南:构建三大防御体系穿越监管风暴
  • Python海龟绘图-藤蔓
  • 【笔记】PyCharm 中创建Poetry解释器