intel /ipex-llm

Accelerate local LLM inference and finetuning (LLaMA, Mistral, ChatGLM, Qwen, DeepSeek, Mixtral, Gemma, Phi, MiniCPM, Qwen-VL, MiniCPM-V, etc.) on Intel XPU (e.g., local PC with iGPU and NPU, discrete GPU such as Arc, Flex and Max); seamlessly integrate with llama.cpp, Ollama, HuggingFace, LangChain, LlamaIndex, vLLM, DeepSpeed, Axolotl, etc.

★ 8,841⑂ 1,432👁 8⑃ 10,285● 3,024▤ 22
PythonApache-2.0Created 2016-08-29
下载:IPEX-LLM release 2.2.0IPEX-LLM-2.2.0 ↓2.2.02025-04-07
-1
日增长
8,841
stars
1,432
forks
8
watchers
10,285
prs
3,024
issues
22
releases

README

Intel® LLM Library for PyTorch

  English | 中文  


ipex-llm 是一个将大语言模型高效地运行于 Intel GPU (如搭载集成显卡的个人电脑,Arc 独立显卡、Flex 及 Max 数据中心 GPU 等)、NPU 和 CPU 上的大模型 XPU 加速库[^1]。  
 [!NOTE]
 - ipex-llm可以与  llama.cpp, Ollama, HuggingFace transformers, LangChain, LlamaIndex, vLLM, Text-Generation-WebUI, DeepSpeed-AutoTP, FastChat, Axolotl, HuggingFace PEFT, HuggingFace TRL, AutoGen, ModeScope 等无缝衔接。 
 - 70+ 模型已经在 ipex-llm 上得到优化和验证(如 Llama, Phi, Mistral, Mixtral, DeepSeek, Qwen, ChatGLM, MiniCPM, Qwen-VL, MiniCPM-V 等), 以获得先进的 大模型算法优化, XPU 加速 以及 低比特(FP8FP8/FP6/FP4/INT4)支持;更多模型信息请参阅这里。

 最新更新 🔥 
- [2025/05] 通过 ipex-llm 中的 FlashMoE,现可使用 1 到 2 张 Intel Arc GPU (如 A770 或 B580) 运行 DeepSeek V3/R1 671B 和 Qwen3MoE 235B 模型。
- [2025/04] 发布 ipex-llm 2.2.0, 其中包括 Ollama Portable Zip 和 llama.cpp Portable Zip。
- [2025/04] 新增在 Intel GPU 上对于 PyTorch 2.6 的支持。
- [2025/03] 通过最新 llama.cpp Portable Zip 可运行 Gemma3 模型。
- [2025/03] 使用最新 llama.cpp Portable Zip, 可以在 Xeon 上通过1到2张 Arc A770 GPU 运行 DeepSeek-R1-671B-Q4_K_M。
- [2025/02] 新增 llama.cpp Portable Zip 在 Intel GPU (包括 Windows 和 Linux) 和 NPU (仅 Windows) 上直接免安装运行 llama.cpp。
- [2025/02] 新增 Ollama Portable Zip 在 Intel GPU 上直接免安装运行 Ollama (包括 Windows 和 Linux)。
- [2025/02] 新增在 Intel Arc GPUs 上运行 vLLM 0.6.6 的支持。
- [2025/01] 新增在 Intel Arc B580 GPU 上运行 ipex-llm 的指南。
- [2025/01] 新增在 Intel GPU 上运行 Ollama 0.5.4 的支持。
- [2024/12] 增加了对 Intel Core Ultra NPU(包括 100H,200V,200K 和 200H 系列)的 Python 和 C++ 支持。

更多更新


- [2024/11] 新增在 Intel Arc GPUs 上运行 vLLM 0.6.2 的支持。
- [2024/07] 新增 Microsoft GraphRAG 的支持(使用运行在本地 Intel GPU 上的 LLM),详情参考快速入门指南。
- [2024/07] 全面增强了对多模态大模型的支持,包括 StableDiffusion, Phi-3-Vision, Qwen-VL,更多详情请点击这里。
- [2024/07] 新增 Intel GPU 上 FP6 的支持,详情参考更多数据类型样例。 
- [2024/06] 新增对 Intel Core Ultra 处理器中 NPU 的实验性支持,详情参考相关示例。 
- [2024/06] 增加了对流水线并行推理的全面支持,使得用两块或更多 Intel GPU(如 Arc)上运行 LLM 变得更容易。
- [2024/06] 新增在 Intel GPU 上运行 RAGFlow 的支持,详情参考快速入门指南。
- [2024/05] 新增 Axolotl 的支持,可以在 Intel GPU 上进行LLM微调,详情参考快速入门指南。
- [2024/05] 你可以使用 Docker images 很容易地运行 ipex-llm 推理、服务和微调。
- [2024/05] 你能够在 Windows 上仅使用 "one command" 来安装 ipex-llm。
- [2024/04] 你现在可以在 Intel GPU 上使用 ipex-llm 运行 Open WebUI ,详情参考快速入门指南。
- [2024/04] 你现在可以在 Intel GPU 上使用 ipex-llm 以及 llama.cpp 和 ollama 运行 Llama 3 ,详情参考快速入门指南。
- [2024/04] ipex-llm 现在在Intel GPU 和 CPU 上都支持 Llama 3 了。
- [2024/04] ipex-llm 现在提供 C++ 推理, 在 Intel GPU 上它可以用作运行 llama.cpp 和 ollama 的加速后端。
- [2024/03] bigdl-llm 现已更名为 ipex-llm (请参阅此处的迁移指南),你可以在这里找到原始BigDL项目。
- [2024/02] ipex-llm 现在支持直接从 ModelScope (魔搭) loading 模型。
- [2024/02] ipex-llm 增加 INT2 的支持 (基于 llama.cpp IQ2 机制), 这使得在具有 16GB VRAM 的 Intel GPU 上运行大型 LLM(例如 Mixtral-8x7B)成为可能。
- [2024/02] 用户现在可以通过 Text-Generation-WebUI GUI 使用 ipex-llm。
- [2024/02] ipex-llm 现在支持 Self-Speculative Decoding,这使得在 Intel GPU 和 CPU 上为 FP16 和 BF16 推理带来 ~30% 加速 。
- [2024/02] ipex-llm 现在支持在 Intel GPU 上进行各种 LLM 微调(包括 LoRA, QLoRA, DPO, QA-LoRA 和 ReLoRA)。
- [2024/01] 使用 ipex-llm QLoRA,我们成功地在 8 个 Intel Max 1550 GPU 上使用 Standford-Alpaca 数据集分别对 LLaMA2-7B(21 分钟内)和 LLaMA2-70B(3.14 小时内)进行了微调,具体详情参阅博客。 
- [2023/12] ipex-llm 现在

Top issues

Discussions

Latest release

IPEX-LLM release 2.2.0 v2.2.0 2025-04-07
Highlights
Note: IPEX-LLM v2.2.0 has been updated to include functional and security updates. Users should update to the latest version.

Please go to https://github.com/ipex-llm/ipex-llm/releases/tag/v2.2.0 for the downloads.

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON