当前位置：首页 > java >正文

[特殊字符] 当Docker遇上大模型：本地运行LLM的奇幻漂流 [特殊字符]

java 2025/7/17 16:50:46

🔍 你绝对没听过的Docker新玩法！

使用Docker在本地运行大型语言模型(LLMs)？没错，这不是科幻小说！Docker现在不仅能跑容器，还能通过Docker Model Runner让你和LLM来场"面对面"聊天~

💡 开发者们注意啦！GenAI开发再也不是高门槛游戏了。Docker又一次施展魔法，把复杂的AI模型变得像"docker run"一样简单！

✨ Docker Model Runner的四大超能力

🧑‍💻 开发者友好
- 告别工具链混乱！用熟悉的Docker命令就能玩转AI模型
- 学习曲线？不存在的~
⚡ GPU加速狂飙
- Apple Silicon用户福音！直接调用Metal API实现GPU加速
- llama.cpp在主机上火力全开
💾 OCI存储黑科技
- 模型不再塞进Docker镜像
- 采用行业标准OCI格式，省空间又高效
🔒 本地化隐私堡垒
- 再也不用担心云API的限速/天价账单
- 数据安全牢牢掌握在自己手中

🛠️ 准备工作：3步启动魔法引擎

安装Docker Desktop ≥v4.40 （Apple Silicon芯片的Mac专属福利哦~）
开启隐藏技能 设置 > Features in development里勾选：
- ✅ Enable Docker Model Runner
- ✅ Enable host-side TCP support（API功能需要）
验证安装 终端输入docker model，看到命令列表就说明准备就绪啦！

🎮 两种玩法任你选

玩法1️⃣：CLI聊天模式（适合新手）

# 拉取llama3.2模型（像拉镜像一样简单！）
docker model pull ai/llama3.2

# 启动对话模式
docker model run ai/llama3.2

输入/bye即可优雅退场~ ✌️

玩法2️⃣：API高级模式（OpenAI兼容）

🐳 容器内访问

基础URL：http://model-runner.docker.internal

curl http://model-runner.docker.internal/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "ai/llama3.2","messages": [{"role": "system", "content": "你是个毒舌助手"},{"role": "user", "content": "用四川话夸夸Docker"}]}'

💻 主机访问

基础URL：http://localhost:12434

curl http://localhost:12434/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "ai/llama3.2","messages": [{"role": "system", "content": "你是个喵星人"},{"role": "user", "content": "用猫语解释Docker原理"}]}'

🌟 响应示例（JSON格式）

{"model": "ai/llama3.2","choices": [{"message": {"content": "Docker嘛，就像喵星人的纸箱子...","role": "assistant"}}],"usage": {"prompt_tokens": 20,"completion_tokens": 87}
}