exo：打造家用设备AI集群的开源解决方案

0. 简介

在人工智能快速发展的今天，大型语言模型(LLM)已经成为各种创新应用的基础。然而，运行这些模型通常需要昂贵的NVIDIA GPU和专业配置，使得个人用户难以在本地部署自己的AI系统。而现在，一个名为"exo"的开源项目正在改变这一现状，它允许用户将家中的日常设备整合成一个强大的AI计算集群。

1. exo项目简介

exo是一个由exolabs团队维护的开源项目，其核心理念是"在家中使用日常设备运行自己的AI集群"。不同于传统的单一高性能设备方案，exo允许用户将多种设备（如iPhone、iPad、Android、Mac、Linux等）连接在一起，形成一个虚拟的分布式GPU系统，共同完成AI模型的运行任务。

想象一下，你可以同时利用家中的笔记本电脑、台式机、平板电脑甚至手机，组建一个个人AI集群，无需额外购买昂贵的专业硬件。这就是exo项目的愿景和价值所在。

项目资源链接：

• GitHub：https://github.com/exo-explore/exo
• 社区：Discord | Telegram | X
• 许可证：GPL v3

2. exo的核心特点

2.1 广泛的模型支持

exo支持多种主流AI模型，包括：

• LLaMA系列（通过MLX和tinygrad两种实现方式）
• Mistral
• LlaVA（视觉语言模型）
• Qwen（通义千问）
• Deepseek

这种多样化的模型支持使得用户可以根据自己的需求选择不同类型和规模的AI模型。

2.2 动态模型分区

exo最令人印象深刻的功能之一是其动态模型分区能力。系统会根据当前的网络拓扑和各设备的可用资源，智能地将模型分割成多个部分，并分配给不同的设备处理。

这种策略使得用户能够运行比任何单个设备内存所能容纳的更大的模型。例如，两台各有8GB内存的设备可以共同运行需要16GB内存的模型。

2.3 自动设备发现

用户体验是exo设计的核心考量之一。系统实现了自动设备发现功能，无需手动配置IP地址或网络设置。只要设备连接到同一网络，exo就能自动识别并将它们纳入计算集群中。

2.4 ChatGPT兼容API

exo提供了与ChatGPT完全兼容的API，开发者只需在应用程序中更改一行代码，就可以从OpenAI的服务转向自己的本地硬件。这极大地简化了从云服务迁移到本地部署的过程。

2.5 设备平等架构

与传统的主从分布式架构不同，exo采用了点对点(P2P)连接模式，所有设备在网络中地位平等。这种设计避免了单点故障问题，提高了系统的整体稳定性和可扩展性。

3. 安装部署

3.1 先决条件

在安装exo之前，需要确保系统满足以下条件：

1. Python版本：需要Python 3.12.0或更高版本，因为在较早版本中存在asyncio的问题。

sudo apt update
sudo apt upgradesudo apt install software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt update
sudo apt install python3.12
sudo apt install python3.12-full
sudo apt install python3-pip

2. 对于支持NVIDIA GPU的Linux系统（如果不使用Linux或NVIDIA，可跳过）：
   • 安装NVIDIA驱动程序（可通过nvidia-smi命令验证）
   • 安装CUDA工具包（从NVIDIA CUDA指南获取，使用nvcc --version验证）
   • 安装cuDNN库（从NVIDIA cuDNN页面下载，并按照验证步骤确认）

3.2 从源码安装

目前推荐从源码安装exo：

git clone https://github.com/exo-explore/exo.git
cd exo
pip install .
# 或者使用虚拟环境
source install.sh

3.3 性能优化

针对Apple Silicon Mac用户，可以通过以下方式提高性能：

1. 升级到最新版本的MacOS 15
2. 运行./configure_mlx.sh脚本，优化Apple Silicon Mac上的GPU内存分配

3.4 故障排除

1. 对于Mac用户，MLX提供了详细的安装指南，包含常见问题的解决方法。

2. 在某些版本的MacOS/Python上，证书可能未正确安装，导致SSL错误（例如访问huggingface.co时）。解决方法是运行证书安装命令：

   /Applications/Python 3.x/Install Certificates.command
   

4. 使用方法

4.1 基本使用

exo的使用非常简单，只需在终端中运行以下命令：

python3 main.py

或者如果已经按照上述方法安装：

exo

无需额外配置，系统会自动启动一个类似ChatGPT的Web界面，可通过浏览器访问http://localhost:52415（或系统指定的其他端口）使用。

如果发现启动后左侧模型一直处于 “Checking download status…” 的状态则说明网络不好，推荐使用镜像地址下载，即在运行时执行如下命令。

HF_ENDPOINT=https://hf-mirror.com exo

若希望看到更多调试信息，则在前添加 DEBUG=9，这些参数均可叠加，若希望指定仅用 CPU 进行推理则添加 CLANG=1。

4.2 多设备协作示例

4.2.1 在多台macOS设备上使用

只需在每台设备上分别运行：

python3 main.py

系统会自动发现同一网络中的其他exo实例，并协同工作。

4.2.2 在异构设备（MacOS+Linux）上使用

在MacOS设备上：

python3 main.py --inference-engine tinygrad

在Linux设备上：

python3 main.py

…详情请参照古月居