如何把闲置设备变成家庭 AI 集群Exo 分布式 AI 计算完整指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo一个 6710 亿参数的 DeepSeek V3.18-bit 量化后约 400GB任何一台消费级设备都装不下。Exo 是一个分布式 AI 计算框架它把模型拆到多台日常设备上共同运行公开实测中4 台 512GB 的 M3 Ultra Mac Studio合计 2TB 内存在一个集群里同时跑着 DeepSeek V3.1 8-bit 和 Kimi K2 Thinking 4-bit。反过来用传统方式堆节点速度还可能越堆越慢。Exo 的网络协议改掉了什么、从零基础到跑通要几步下面直接讲清楚。这套协议到底解决了什么问题设备如何被聚合自动发现零手动配置任何一台运行 exo 的设备都会在局域网内自动发现彼此不需要填 IP、改端口。其中一台会被选举为协调节点实时掌握整个集群的拓扑视图每台设备的内存、算力以及每对设备之间的延迟和带宽。为什么 RDMA 比 TCP 快TCP普通网络协议传输数据要经过操作系统内核的网络栈逐层处理。RDMA远程直接内存访问则让网卡绕过内核直接读写另一台机器的内存。macOS 26.2 新增了对 Thunderbolt 5 的 RDMA 支持Exo 是首批适配者设备间延迟降低 99%。任务如何按负载动态分配协调节点根据每台设备的实时资源和链路状况决定模型怎么拆可以流水线式地按层分配也可以用张量并行把同一层矩阵切开分摊。官方给出的数字是张量并行下 2 台设备提速 1.8 倍4 台提速 3.2 倍。最终结果是加设备真的会变快而不是被通信拖垮。一次公开的 Qwen3 235B8-bit实测对比单节点时 ExoRDMA19.5 t/s 与 llama.cppTCP20.4 t/s 基本持平到 4 节点TCP 方案掉到 15.2 t/sExo 升到 31.9 t/s接近两倍差距。从零到跑通的最短路径1. 安装两条命令装好 ExomacOS 用户可以直接用 Homebrew 安装官方后台应用需 macOS 26.2 及以上。其他环境从源码运行git clone https://gitcode.com/GitHub_Trending/exo8/exo按 README.md 装好依赖uv、Node.js、Rust构建 dashboard 后在仓库里执行 uv run exo 即可Linux 目前以 CPU 模式运行GPU 支持在路线图上。2. 加入集群设备自动发现同一网络里的每台设备各自启动 exo它们会自动发现并组队没有任何手动配置步骤。在任一设备上打开浏览器访问 localhost:52415dashboard 会显示完整集群拓扑以及每台设备的内存占用、温度和功耗。3. 选模型、启动实例dashboard 内置 30 个以上可启动的模型选好模型后在流水线并行和张量并行之间选一种分片策略系统自动算出放到哪几台设备。想用自己的权重也可以从 Hugging Face 加载。4. 进阶开启 RDMA 拉满速度全 Thunderbolt 5 设备M4 Pro Mac mini、M4 Max MacBook Pro / Mac Studio、M3 Ultra Mac Studio可以解锁最快路径用 TB5 线缆把每台设备直连到其他所有设备全互联在恢复模式终端中开启 RDMA并确保所有设备 macOS 版本完全一致exo 会自动切到低延迟链路。适合谁、能玩出什么花样有两台以上 Apple Silicon 机器的重度用户把 235B 搬进家里。两台 M3 Ultra 空闲时组网Qwen3 235B 可以跑到 26 t/s 以上四台就是 32 t/s日常问答和长文写作都够用。 本地 AI 工具链开发者不改一行代码。exo 暴露的 API 兼容 OpenAI Chat Completions、Claude Messages、OpenAI Responses 和 Ollama 四种格式现有客户端、OpenWebUI 这类工具只需把服务地址改到集群就能把请求打到家里这几台机器上。分布式计算入门学习者从一个 1B 小模型开始。先加载一个小模型盯着 dashboard 上的拓扑图和每台设备的内存分布观察协调节点如何把模型切分、数据如何在设备间流动——把抽象的分片流水线变成看得见的具体过程再逐步换更大的模型做实验。exo 采用 Apache-2.0 开源协议核心实现在 src/exo/接口细节见 docs/api.md硬件支持清单见 PLATFORMS.md。建议的第一步很小在一台设备上把 exo 跑起来打开 dashboard看看它替你找到了什么设备、能加载什么模型。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
