当前位置：首页 > news >正文

mac m1安装大模型工具vllm

news 2025/7/12 4:31:53

1 更新系统环境

参考vllm官网文档，vllm对apple m1平台mac os, xcoder, clang有如下要求

OS: macOS Sonoma or later

SDK: XCode 15.4 or later with Command Line Tools

Compiler: Apple Clang >= 15.0.0

在App Store更新macOS和XCoder，依据XCoder版本号安装command line tools。

https://developer.apple.com/download/all/?q=Command%20Line%20Tools

2 安装anconda并初始化虚拟环境

下载并安装apple m1版本anconda

比如 Anaconda3-2025.06-0-MacOSX-arm64.pkg

https://www.anaconda.com/download-success

初始化conda虚拟环境

conda create -n vllm python=3.12

conda activate vllm

3 安装vllm

1）下载vllm

git clone https://github.com/vllm-project/vllm.git

大部分情况git clone会失败，所以直接下载vllm的release版本，这里下载0.92，链接如下。

https://github.com/vllm-project/vllm/releases/download/v0.9.2/vllm-0.9.2.tar.gz

https://github.com/vllm-project/vllm/releases

2）安装vllm

先安装依赖

cd vllm

pip install -r requirements/cpu.txt

conda install cmake

conda install ninja

再安装vllm

pip install -e .

需注意的是以上操作要在mac自带终端下完成，在iterm下会遇到编译问题。

4 验证vllm

vLLM 将 Hugging Face 模型下载到本地，默认 ~/cache/huggingface/hub 文件夹中。

以下是测试代码。

import osos.environ["HF_ENDPOINT"] = "https://hf-mirror.com"from vllm.entrypoints.llm import LLM
from vllm.sampling_params import SamplingParamsmodel_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"llm = LLM(model=model_name, max_model_len=128)sampling_params = SamplingParams(temperature = 0.9,max_tokens = 100)
prompt = "中国首都在那?"
output = llm.generate(prompt, sampling_params)print(output)
print(output[0].outputs[0].text)

另外，vLLM 还可以作为服务运行。

目前存在的问题是运行慢，后续看看有效的量化方法。

reference

---

vllm

https://github.com/vllm-project/vllm.git

vllm CPU install doc

https://docs.vllm.ai/en/latest/getting_started/installation/cpu.html

mac command line tools

https://developer.apple.com/download/all/?q=Command%20Line%20Tools

小白入门：使用vLLM在本机MAC上部署大模型

https://www.53ai.com/news/OpenSourceLLM/2025040116542.html