Huggingface-CLI的使用

一、介绍

Hugging Face 的 CLI（Command Line Interface，命令行工具） 是一个通过终端与 Hugging Face 平台交互的工具，主要用于高效管理模型、数据集、仓库等资源。

可以上传/下载模型、数据集（huggingface-cli upload/download ），可以创建和删除仓库（huggingface-cli repo create/delete）。

huggingface_hub 是一个 Python 库，提供了与 Hugging Face Hub 交互的编程接口。CLI（命令行工具） 是 huggingface_hub 库附带的命令行界面，安装该库后会自动提供 huggingface-cli 命令。CLI封装了部分Git操作。

1.安装huggingface_hub库

pip install -U huggingface_hub

提示：huggingface_hub 依赖于 Python>=3.8。

设置环境变量，huggingface镜像站

# 一  liux系统 临时设置   建议将上面这一行写入 ~/.bashrc。
export HF_ENDPOINT=https://hf-mirror.com  #二  liux永久设置，将命令写入 ~/.bashrc。
vim ~/.bashrc# 设置 Hugging Face 镜像源,把下面内容粘贴都按文件末尾
export HF_ENDPOINT=https://hf-mirror.com#三  windows系统 ，是在powerShell中设置环境变量
$env:HF_ENDPOINT = "https://hf-mirror.com"  #或者手动添加环境变量
进入 高级 → 环境变量，在 用户变量 或 系统变量 中添加：变量名：HF_ENDPOINT变量值：https://hf-mirror.com

2. 注册和登登陆huggingface,申请token.

登陆和注册huggingface账号：https://huggingface.co/

记得复制和保存token 的API。

3. 登陆

进入指定的python虚拟环境， 运行如下命令。

huggingface-cli login --token   后面加上自己huggingface保存的 token API

验证是否登陆成功

huggingface-cli whoami

输出相关信息表示登陆成功，如果失败，则提示Not logged in 或类似错误。

Hugging Face 的登录 Token 会保存在 ~/.cache/huggingface/token（Linux/macOS）或 %USERPROFILE%\.cache\huggingface\token（Windows）

注意：登陆前提是，liux服务器或者windows系统，有VPN，能打开hunggingface官网。如果报错，可以检查服务器是否能连上huggingface

ping huggingface.co

或者：

curl -I https://huggingface.co

4.下载模型和数据集

下载模型：

huggingface-cli download --resume-download <organization>/<model_name> --local-dir <local_dir>
#例如：
huggingface-cli download --resume-download meta-llama/Llama-2-7b-chat-hf --local-dir ./llama2-7b"""
--resume-download:如果下载终端，可恢复而不是重新下载。
--local-dir  ：指定下载到本地的路径
""""

下载数据集

huggingface-cli download --resume-download --repo-type dataset XXXX/XXXX  --local-dir <本地保存目录>
# --repo-type dataset  :表示要下载的是数据集#例如：
huggingface-cli download \--resume-download \--repo-type dataset \imdb \--local-dir ./data/imdb

上传数据集

huggingface-cli upload   hungingface用户名/上传后数据集名称(自己起)   "本地数据集路径"      --repo-type dataset   --commit-message "首次上传数据集"#实例
huggingface-cli upload   husername/dataset1    "./data/dataset"      --repo-type dataset   --commit-message "首次上传数据集"

5.加速上传设置

启动hf_transfer加速

pip install hf_transfer

设置环境变量，启用加速

export HF_HUB_ENABLE_HF_TRANSFER=1    #liux /macos
set HF_HUB_ENABLE_HF_TRANSFER=1   #windows cmd中运行  临时设置