当前位置: 首页 > news >正文

【torch\huggingface默认下载路径修改】.cache/torch/ 或 .cache/huggingface

问题

服务器的硬盘空间是有限的,系统上的固态硬盘空间又比较小,在跑深度学习模型的时候经常有默认下载权重的操作,不管是torch或者huggingface,如果不加管理,所有的权重都放在home/user/.cache 里面,迟早会爆,在大模型盛行的今天,huggingface每一次的权重都是几个g的大小,系统盘根本撑不住,所以肯定需要修改默认下载位置。

解决方案1-系统环境直接修改变量

1、打开环境

nano ~/.bashrc

2、添加HF\TORCH\XDG默认路径

# 设置 Hugging Face 全家桶缓存路径
export HF_HOME="/data1/user/cache/huggingface"
# pytorch 通用缓存
export TORCH_HOME="/data1/user/cache/torch"
# SDG 规范缓存目录 (影响更广)
export XDG_CACHE_HOME="/data1/user/cache/xdg_cache"

其中/data1/user/cache是我想要存的机械硬盘的位置
3、重新激活环境

source ~/.bashrc

解决方案2 -代码中添加路径

import os
# 手动设置环境变量,将这里替换为您实际想要设置的路径
os.environ['TORCH_HOME'] = '/data1/yerq/cache/torch'
http://www.xdnf.cn/news/134137.html

相关文章:

  • 精益数据分析(23/126):把握创业阶段与第一关键指标
  • conda安装cuda+cudnn+pytorch【一条龙服务,以cuda12.1版本为例】
  • Springboot 手搓 后端 滑块验证码生成
  • 在vscode终端中运行npm命令报错
  • IntelliJ IDEA 中配置 Spring MVC 环境的详细步骤
  • 深入理解C++ 中的list容器
  • 在 Java 项目中搭建和部署 Docker 的详细流程
  • Jenkins流水线管理工具
  • Estimands与Intercurrent Events:临床试验与统计学核心框架
  • Flink TaskManager详解
  • Unity开发者快速认识Unreal 的BluePrint(二)
  • 软件测试流程
  • 代理ip和实际ip的区别和联系
  • MySQL的MVCC【学习笔记】
  • stone 3d v3.3.0版本发布,含时间线和连接器等新功能
  • 零信任架构:重塑网络安全的IT新范式
  • Redis ⑥-string | hash | list
  • 金仓数据库征文-政务领域国产化数据库更替:金仓 KingbaseES 应用实践
  • 使用springboot+easyexcel实现导出excel并合并指定单元格
  • VuePress可以做什么?
  • Keras中Lambda层的常用方法
  • 告别默认配置!Xray自定义POC开发指南
  • Linux字符设备驱动开发的详细步骤
  • ubuntu22.04 命令行修改静态ip
  • 贝叶斯优化GAM回归(matlab代码)
  • 牛客小白月赛115-B题:签到题
  • Python Cookbook-6.9 快速复制对象
  • 代码随想录算法训练营第60期第十七天打卡
  • 小白如何使用Cursor运行python程序(含环境配置教程)
  • 隐形革命:环境智能如何重构“人-机-境“共生新秩序