Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.

★ 11,746⑂ 1,856👁 850⑃ 110● 47▤ 3
C++Apache-2.0Created 2026-09-08edge0.ai/
下载:0.2.00.2.0 ↓0.2.02026-11-11
+95
日增长
+2,570
周增长
11,746
stars
1,856
forks
850
watchers
110
prs
47
issues
3
releases

README

Edge0

开源流式 MoE 推理框架



大模型,就在本机。稀疏,源于设计。



macOS · iOS · Android · Linux · Windows一个程序,运行所有 Edge0 模型

项目

    


最新版本

   


此前版本

   


English · 中文 · 日本語 · Español · Français

动态 · 关于 · 模型 · 能力评测 · 性能测试 · 快速开始





 动态








更多动态






完整发布说明

- [2026-11-13] 我们发布了 edge0-145b 和 edge0-120b:基于 Qwen3.8-Flash-Next 的潜空间混合专家模型,可在 Linux 或 Windows 上使用单张 NVIDIA GPU 运行。模型由 edge0-strata 驱动,edge0-infer serve 和 edge0-infer chat 会为其启动该引擎;详见模型页面。Hugging Face 权重:Edge0-145B-q3k · Edge0-145B-NVFP4 · Edge0-120B-q3k · Edge0-120B-NVFP4。
- [2026-11-04] 我们发布了统一推理引擎 edge0-infer:基于 GGML,通过同一个引擎和原生 C++ API 在 macOS、iOS、Android 和 Windows 上运行同一模型,提供 CLI、兼容 OpenAI 的本地服务,以及桌面、Android 和 iOS 聊天应用示例。首版支持 edge0-35b;edge0-8b 将在后续版本中支持。它取代了 Python 框架和各平台独立引擎;旧代码保留在 pre-edge0-infer 标签下。
- [2026-09-30] 我们发布了 iOS、macOS、Android 和 Windows 四个平台的 edge0 推理引擎(源码位于 pre-edge0-infer 标签)。
- [2026-09-16] 技术报告已发布于 arXiv:The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction。
- [2026-09-08] 首次开源发布 edge0,并在 Hugging Face 和 ModelScope 同时发布两个模型档位:Edge0-35B-A3B-preview 和 Edge0-8B-A1B-preview。








此前版本

→ 35B / 8B 版本指南 — 模型下载、架构、评测、支持平台与安装说明。





 关于

Edge0 是一个开源流式 MoE 推理框架,用于在消费级硬件上运行大型稀疏模型。

可通过命令行、本地 API 服务或 Edge0 Chat 应用使用。

最新版本让 145B 和 120B 潜空间 MoE 模型能够在单张 NVIDIA GPU 或 Apple Silicon Mac 上运行。

两款模型均采用原生 4 位训练,提供 Q3_K 和 NVFP4 格式,面向本地 agent 任务。

edge0-infer 提供统一的 serve 和 chat 命令,并根据模型文件夹选择引擎。最新模型运行于 Strata 的分支 edge0-strata;此前的 35B 版本使用基于 GGML 的原生引擎。



 支持平台

平台支持取决于模型及其引擎。

| 平台 | edge0-145b, edge0-120b (edge0-strata) | edge0-35b(原生引擎) |
| --- | --- | --- |
| Linux | NVIDIA GPU (CUDA 13) | CPU |
| Windows | NVIDIA GPU (CUDA 13) | CPU, Vulkan |
| macOS (Apple Silicon) | Metal | Metal, CPU |
| iOS | — | Metal |
| Android | — | CPU |

最新版本请参阅 145B / 120B 安装说明。此前版本指南涵盖原生后端、各平台构建和聊天示例。8B 检查点已发布,原生引擎支持仍在计划中。



 模型

145B / 120B 是当前的潜空间 MoE 系列,基于 Qwen3.8-Flash-Next,采用原生 4 位训练。

通过 edge0-infer serve 和 edge0-infer chat 调用 edge0-strata,在配备 NVIDIA GPU 和 CUDA 13 的 Linux 或 Windows 上运行,或在 macOS 的 Apple Silicon 上用 Metal 运行。

145B Q3_K · RTX 5090 D 24 GB: agent 解码 121.2 tok/s · 16K 预填充 3554.9 tok/s。

| 型号 | 已发布检查点 | 推理配置 | 引擎 |
|---|---|---|---|
| edge0-145b | Edge0/Edge0-145B-q3k · NVFP4 | Q3_K 或 NVFP4 潜空间专家(1792),48 层,512 个专家,K=10 | edge0-strata ✅(Linux 或 Windows,NVIDIA GPU;macOS Apple Silicon,Metal,Q3_K) |
| edge0-120b | Edge0/Edge0-120B-q3k · NVFP4 | Q3_K 或 NVFP4 潜空间专家(1280),48 层,512 个专家,K=10 | edge0-strata ✅(Linux 或 Windows,NVIDIA GPU;macOS Apple Silicon,Metal,Q3_K) |




模型概览 · 145B Q3_K

Q3_K · RTX 5090 D 24 GB。预填充使用 16K token 输入。能力分数为模型层面的评测结果。







 能力评测

 145B / 120B

六项评测,六个模型。分数越高越好。分数按模型报告,并非对 Q3_K 和 NVFP4 分别进行评测。



可复制的分数及完整模型名称


可复制分数 · 全部六个模型

粗体表示该列最高分。

| 模型 | deepswe 1.1 | terminal-bench 2.1 | AA-LCR | IFBench | GPQA-Diamond | HLE |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| Edge0-145B | 64.6 | 86.5 | 79.3 | 80.6 | 90.4 | 35.4 |
| Edge0-120B | 51.3 | 75.3 | 81.0 | 79.3 | 87.4 | 31.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 79.7 | 79.2 

Top issues

Discussions

Latest release

0.2.0 v0.2.0 2026-11-11
Windows and macOS. The Windows packages are built from 3203c39 on main, the macOS package from f833336 on main. Installation and troubleshooting: see README.md inside each package.

 What's Changed

- Edge0 145B and Edge0 120B. Two latent-MoE models for a single NVIDIA GPU, run by edge0-strata.
- New inference engine, edge0-infer. A single on-device MoE engine in C++ on GGML, with one native API, replaces the Python framework and the four separate platform apps. It includes a CLI (run, chat, bench, serve, info), an OpenAI-compatible local server and the Edge0 Chat desktop app. This release sup

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON