Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.
★ 11,746⑂ 1,856👁 850⑃ 110● 47▤ 3
+95
日增长
+2,570
周增长
11,746
stars
1,856
forks
850
watchers
110
prs
47
issues
3
releases
README
Edge0
开源流式 MoE 推理框架
大模型,就在本机。稀疏,源于设计。
macOS · iOS · Android · Linux · Windows一个程序,运行所有 Edge0 模型
项目
最新版本
此前版本
English · 中文 · 日本語 · Español · Français
动态 · 关于 · 模型 · 能力评测 · 性能测试 · 快速开始
动态
更多动态
完整发布说明
- [2026-11-13] 我们发布了 edge0-145b 和 edge0-120b:基于 Qwen3.8-Flash-Next 的潜空间混合专家模型,可在 Linux 或 Windows 上使用单张 NVIDIA GPU 运行。模型由 edge0-strata 驱动,edge0-infer serve 和 edge0-infer chat 会为其启动该引擎;详见模型页面。Hugging Face 权重:Edge0-145B-q3k · Edge0-145B-NVFP4 · Edge0-120B-q3k · Edge0-120B-NVFP4。
- [2026-11-04] 我们发布了统一推理引擎 edge0-infer:基于 GGML,通过同一个引擎和原生 C++ API 在 macOS、iOS、Android 和 Windows 上运行同一模型,提供 CLI、兼容 OpenAI 的本地服务,以及桌面、Android 和 iOS 聊天应用示例。首版支持 edge0-35b;edge0-8b 将在后续版本中支持。它取代了 Python 框架和各平台独立引擎;旧代码保留在 pre-edge0-infer 标签下。
- [2026-09-30] 我们发布了 iOS、macOS、Android 和 Windows 四个平台的 edge0 推理引擎(源码位于 pre-edge0-infer 标签)。
- [2026-09-16] 技术报告已发布于 arXiv:The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction。
- [2026-09-08] 首次开源发布 edge0,并在 Hugging Face 和 ModelScope 同时发布两个模型档位:Edge0-35B-A3B-preview 和 Edge0-8B-A1B-preview。
此前版本
→ 35B / 8B 版本指南 — 模型下载、架构、评测、支持平台与安装说明。
关于
Edge0 是一个开源流式 MoE 推理框架,用于在消费级硬件上运行大型稀疏模型。
可通过命令行、本地 API 服务或 Edge0 Chat 应用使用。
最新版本让 145B 和 120B 潜空间 MoE 模型能够在单张 NVIDIA GPU 或 Apple Silicon Mac 上运行。
两款模型均采用原生 4 位训练,提供 Q3_K 和 NVFP4 格式,面向本地 agent 任务。
edge0-infer 提供统一的 serve 和 chat 命令,并根据模型文件夹选择引擎。最新模型运行于 Strata 的分支 edge0-strata;此前的 35B 版本使用基于 GGML 的原生引擎。
支持平台
平台支持取决于模型及其引擎。
| 平台 | edge0-145b, edge0-120b (edge0-strata) | edge0-35b(原生引擎) |
| --- | --- | --- |
| Linux | NVIDIA GPU (CUDA 13) | CPU |
| Windows | NVIDIA GPU (CUDA 13) | CPU, Vulkan |
| macOS (Apple Silicon) | Metal | Metal, CPU |
| iOS | — | Metal |
| Android | — | CPU |
最新版本请参阅 145B / 120B 安装说明。此前版本指南涵盖原生后端、各平台构建和聊天示例。8B 检查点已发布,原生引擎支持仍在计划中。
模型
145B / 120B 是当前的潜空间 MoE 系列,基于 Qwen3.8-Flash-Next,采用原生 4 位训练。
通过 edge0-infer serve 和 edge0-infer chat 调用 edge0-strata,在配备 NVIDIA GPU 和 CUDA 13 的 Linux 或 Windows 上运行,或在 macOS 的 Apple Silicon 上用 Metal 运行。
145B Q3_K · RTX 5090 D 24 GB: agent 解码 121.2 tok/s · 16K 预填充 3554.9 tok/s。
| 型号 | 已发布检查点 | 推理配置 | 引擎 |
|---|---|---|---|
| edge0-145b | Edge0/Edge0-145B-q3k · NVFP4 | Q3_K 或 NVFP4 潜空间专家(1792),48 层,512 个专家,K=10 | edge0-strata ✅(Linux 或 Windows,NVIDIA GPU;macOS Apple Silicon,Metal,Q3_K) |
| edge0-120b | Edge0/Edge0-120B-q3k · NVFP4 | Q3_K 或 NVFP4 潜空间专家(1280),48 层,512 个专家,K=10 | edge0-strata ✅(Linux 或 Windows,NVIDIA GPU;macOS Apple Silicon,Metal,Q3_K) |
模型概览 · 145B Q3_K
Q3_K · RTX 5090 D 24 GB。预填充使用 16K token 输入。能力分数为模型层面的评测结果。
能力评测
145B / 120B
六项评测,六个模型。分数越高越好。分数按模型报告,并非对 Q3_K 和 NVFP4 分别进行评测。
可复制的分数及完整模型名称
可复制分数 · 全部六个模型
粗体表示该列最高分。
| 模型 | deepswe 1.1 | terminal-bench 2.1 | AA-LCR | IFBench | GPQA-Diamond | HLE |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| Edge0-145B | 64.6 | 86.5 | 79.3 | 80.6 | 90.4 | 35.4 |
| Edge0-120B | 51.3 | 75.3 | 81.0 | 79.3 | 87.4 | 31.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 79.7 | 79.2 Top issues
#201Support for Apple Silicon (Metal) for Edge0 120B / 145B5 comments · 2026-11-13#197Support for AMD GPUs (Vulkan or ROCm/HIP) for Edge0 120B / 145B5 comments · 2026-11-12#205[Engine] Layer split over two CUDA sm_86 cards: stage 2 never gets prompt rows, stall at layer 1 of a small tail chunk4 comments · 2026-11-13#209Docs and reachability feedback from a from-source Windows build (fb0c9b6)2 comments · 2026-11-13#208Performance report: edge0-145b / RTX 4090 24 GB / 64 GB RAM / Windows (from-source fb0c9b6)2 comments · 2026-11-13#107CUDA support timeline2 comments · 2026-09-16#233[Engine] Helper caches and --peer-device give wrong output on latent packs (Edge0-145B NVFP4, sm_86)1 comments · 2026-11-15#217Serving fails with ModuleNotFoundError: No module named 'jinja2.sandbox'1 comments · 2026-11-14
Discussions
#220Edge0-145B Q3_K on an RTX 3090 (24 GB, PCIe Gen 2): community bench at 24 / 16 GiB, plus why 12 GiB doesn't fit0 comments · 2026-11-14#219Edge0 145B Q3_K on Apple M5 Max (MacBook Pro, 128 GB): speed results on Metal0 comments · 2026-11-14#198Withdrawn2 comments · 2026-11-13#195distributed inference in a local cluster2 comments · 2026-11-12#154how to add model with the released Android app?1 comments · 2026-10-28#142📊 Hardware Benchmarks — run edge0 on your device & share results1 comments · 2026-10-15#138Welcome to edge0 Discussions!0 comments · 2026-10-15
Latest release
0.2.0 v0.2.0 2026-11-11Windows and macOS. The Windows packages are built from 3203c39 on main, the macOS package from f833336 on main. Installation and troubleshooting: see README.md inside each package. What's Changed - Edge0 145B and Edge0 120B. Two latent-MoE models for a single NVIDIA GPU, run by edge0-strata. - New inference engine, edge0-infer. A single on-device MoE engine in C++ on GGML, with one native API, replaces the Python framework and the four separate platform apps. It includes a CLI (run, chat, bench, serve, info), an OpenAI-compatible local server and the Edge0 Chat desktop app. This release sup
相关报道 (3)
News & coverage (7)
Hacker NewsA 35B language model running on an iPhone using only 1–2.5 GB of peak memory▲ 2 · 0 comments · 2026-09-10MarkTechPostEdge0 Releases Audio8-TTS-Realistic, a 0.6B Voice Cloning TTS Model2026-10-28noteEdge0-AI/Edge0: A Detailed Explanation of This Week's GitHub Trends!2026-10-04Geeky GadgetsEdge0 Framework Runs Qwen 35B AI Model from Your SSD2026-09-17xEdge0 Runs 35B AI Model on iPhone with Just 2.5 GB Memory2026-09-09huggingfaceEdge0-8b-a1b Preview2026-09-09YouTubeRun 35B Model on Phone Under 3GB Memory with Edge02026-09-11