intel /ipex-llm
Accelerate local LLM inference and finetuning (LLaMA, Mistral, ChatGLM, Qwen, DeepSeek, Mixtral, Gemma, Phi, MiniCPM, Qwen-VL, MiniCPM-V, etc.) on Intel XPU (e.g., local PC with iGPU and NPU, discrete GPU such as Arc, Flex and Max); seamlessly integrate with llama.cpp, Ollama, HuggingFace, LangChain, LlamaIndex, vLLM, DeepSpeed, Axolotl, etc.
★ 8,841⑂ 1,432👁 8⑃ 10,285● 3,024▤ 22
TA的项目
-1
日增长
8,841
stars
1,432
forks
8
watchers
10,285
prs
3,024
issues
22
releases
README
Intel® LLM Library for PyTorch English | 中文 ipex-llm 是一个将大语言模型高效地运行于 Intel GPU (如搭载集成显卡的个人电脑,Arc 独立显卡、Flex 及 Max 数据中心 GPU 等)、NPU 和 CPU 上的大模型 XPU 加速库[^1]。 [!NOTE] - ipex-llm可以与 llama.cpp, Ollama, HuggingFace transformers, LangChain, LlamaIndex, vLLM, Text-Generation-WebUI, DeepSpeed-AutoTP, FastChat, Axolotl, HuggingFace PEFT, HuggingFace TRL, AutoGen, ModeScope 等无缝衔接。 - 70+ 模型已经在 ipex-llm 上得到优化和验证(如 Llama, Phi, Mistral, Mixtral, DeepSeek, Qwen, ChatGLM, MiniCPM, Qwen-VL, MiniCPM-V 等), 以获得先进的 大模型算法优化, XPU 加速 以及 低比特(FP8FP8/FP6/FP4/INT4)支持;更多模型信息请参阅这里。 最新更新 🔥 - [2025/05] 通过 ipex-llm 中的 FlashMoE,现可使用 1 到 2 张 Intel Arc GPU (如 A770 或 B580) 运行 DeepSeek V3/R1 671B 和 Qwen3MoE 235B 模型。 - [2025/04] 发布 ipex-llm 2.2.0, 其中包括 Ollama Portable Zip 和 llama.cpp Portable Zip。 - [2025/04] 新增在 Intel GPU 上对于 PyTorch 2.6 的支持。 - [2025/03] 通过最新 llama.cpp Portable Zip 可运行 Gemma3 模型。 - [2025/03] 使用最新 llama.cpp Portable Zip, 可以在 Xeon 上通过1到2张 Arc A770 GPU 运行 DeepSeek-R1-671B-Q4_K_M。 - [2025/02] 新增 llama.cpp Portable Zip 在 Intel GPU (包括 Windows 和 Linux) 和 NPU (仅 Windows) 上直接免安装运行 llama.cpp。 - [2025/02] 新增 Ollama Portable Zip 在 Intel GPU 上直接免安装运行 Ollama (包括 Windows 和 Linux)。 - [2025/02] 新增在 Intel Arc GPUs 上运行 vLLM 0.6.6 的支持。 - [2025/01] 新增在 Intel Arc B580 GPU 上运行 ipex-llm 的指南。 - [2025/01] 新增在 Intel GPU 上运行 Ollama 0.5.4 的支持。 - [2024/12] 增加了对 Intel Core Ultra NPU(包括 100H,200V,200K 和 200H 系列)的 Python 和 C++ 支持。 更多更新 - [2024/11] 新增在 Intel Arc GPUs 上运行 vLLM 0.6.2 的支持。 - [2024/07] 新增 Microsoft GraphRAG 的支持(使用运行在本地 Intel GPU 上的 LLM),详情参考快速入门指南。 - [2024/07] 全面增强了对多模态大模型的支持,包括 StableDiffusion, Phi-3-Vision, Qwen-VL,更多详情请点击这里。 - [2024/07] 新增 Intel GPU 上 FP6 的支持,详情参考更多数据类型样例。 - [2024/06] 新增对 Intel Core Ultra 处理器中 NPU 的实验性支持,详情参考相关示例。 - [2024/06] 增加了对流水线并行推理的全面支持,使得用两块或更多 Intel GPU(如 Arc)上运行 LLM 变得更容易。 - [2024/06] 新增在 Intel GPU 上运行 RAGFlow 的支持,详情参考快速入门指南。 - [2024/05] 新增 Axolotl 的支持,可以在 Intel GPU 上进行LLM微调,详情参考快速入门指南。 - [2024/05] 你可以使用 Docker images 很容易地运行 ipex-llm 推理、服务和微调。 - [2024/05] 你能够在 Windows 上仅使用 "one command" 来安装 ipex-llm。 - [2024/04] 你现在可以在 Intel GPU 上使用 ipex-llm 运行 Open WebUI ,详情参考快速入门指南。 - [2024/04] 你现在可以在 Intel GPU 上使用 ipex-llm 以及 llama.cpp 和 ollama 运行 Llama 3 ,详情参考快速入门指南。 - [2024/04] ipex-llm 现在在Intel GPU 和 CPU 上都支持 Llama 3 了。 - [2024/04] ipex-llm 现在提供 C++ 推理, 在 Intel GPU 上它可以用作运行 llama.cpp 和 ollama 的加速后端。 - [2024/03] bigdl-llm 现已更名为 ipex-llm (请参阅此处的迁移指南),你可以在这里找到原始BigDL项目。 - [2024/02] ipex-llm 现在支持直接从 ModelScope (魔搭) loading 模型。 - [2024/02] ipex-llm 增加 INT2 的支持 (基于 llama.cpp IQ2 机制), 这使得在具有 16GB VRAM 的 Intel GPU 上运行大型 LLM(例如 Mixtral-8x7B)成为可能。 - [2024/02] 用户现在可以通过 Text-Generation-WebUI GUI 使用 ipex-llm。 - [2024/02] ipex-llm 现在支持 Self-Speculative Decoding,这使得在 Intel GPU 和 CPU 上为 FP16 和 BF16 推理带来 ~30% 加速 。 - [2024/02] ipex-llm 现在支持在 Intel GPU 上进行各种 LLM 微调(包括 LoRA, QLoRA, DPO, QA-LoRA 和 ReLoRA)。 - [2024/01] 使用 ipex-llm QLoRA,我们成功地在 8 个 Intel Max 1550 GPU 上使用 Standford-Alpaca 数据集分别对 LLaMA2-7B(21 分钟内)和 LLaMA2-70B(3.14 小时内)进行了微调,具体详情参阅博客。 - [2023/12] ipex-llm 现在
Top issues
#12963Support for gemma3 from google62 comments · 2025-03-12#12844Ollama can't run on 9th gen intel CPU or older, please use a newer version of Ollama39 comments · 2025-02-18#13173A770 Performance Issue with INT437 comments · 2025-05-21#12248Brave Leo AI using Ollama and Intel GPU35 comments · 2024-10-23#12723non-stream is not supported33 comments · 2025-01-20#13010Unable to use GLM model30 comments · 2025-03-26#13245gemma3n unable to run ipex-llm26 comments · 2025-06-30#11400 Native API returns: -2 (PI_ERROR_DEVICE_NOT_AVAILABLE)26 comments · 2024-06-22
Discussions
#11138Support for max_loaded_maps and num_parallel variables/parameters1 comments · 2024-05-26#10258What are the relationship and differences between bigdl and openvino?0 comments · 2024-02-27
Latest release
IPEX-LLM release 2.2.0 v2.2.0 2025-04-07Highlights Note: IPEX-LLM v2.2.0 has been updated to include functional and security updates. Users should update to the latest version. Please go to https://github.com/ipex-llm/ipex-llm/releases/tag/v2.2.0 for the downloads.