lonePatient /awesome-pretrained-chinese-nlp-models

Awesome Pretrained Chinese NLP Models,高质量中文预训练模型&大模型&多模态模型&大语言模型集合

★ 5,619⑂ 514👁 91⑃ 20● 13▤ 0
PythonMITCreated 2019-05-25
+1
日增长
5,619
stars
514
forks
91
watchers
20
prs
13
issues
0
releases

README

Awesome Pretrained Chinese NLP Models

!

 
    论文: A Survey of Large Language Models


在自然语言处理领域中,预训练语言模型(Pretrained Language Models)已成为非常重要的基础技术,本仓库主要收集目前网上公开的一些高质量中文预训练模型、中文多模态模型、中文大语言模型等内容(感谢分享资源的大佬),并将持续更新......

 国内下载HuggingFace仓库模型推荐使用HuggingFace镜像地址: 

 📑 目录导航



 📚 模型分类索引

 🤖 大模型系列

| 分类       | 说明             | 链接                        |
| :------- | :------------- | :------------------------ |
| 通用基础大模型  | 参数 7B 的基础语言模型 | 查看           |
| 垂直基础大模型  | 金融、医疗、法律等垂直领域  | 查看    |
| 通用对话大模型  | 对话式通用语言模型      | 查看            |
| 垂直对话大模型  | 垂直领域对话模型       | 查看     |
| 多模态对话大模型 | 图文等多模态模型       | 查看 |
| 推理类大模型   | 数学、逻辑推理模型      | 查看       |

 🔧 预训练模型系列

| 系列            | 代表模型                                                | 链接                        |
| :------------ | :-------------------------------------------------- | :------------------------ |
| NLU系列     | BERT · RoBERTa · ALBERT · ERNIE · MacBERT · ELECTRA | 查看全部 29 个       |
| NLG系列     | GPT · GPT-3 · T5 · BART · CPM · RWKV                | 查看全部 18 个       |
| NLU-NLG系列 | UniLM · GLM · CPT · SimBERT                         | 查看全部 9 个    |
| 多模态系列     | WenLan · CogView · Chinese-CLIP · OFA               | 查看全部 13 个 |

 📦 资源与工具

📊 大模型评估基准 · 📦 开源模型库平台 · 📚 开源数据集库 · 📝 中文指令数据集 · 🎯 Embedding · 🔗 Other-Awesome



📌 备注说明

 ND: Non-Causal Decoder (非因果解码器) | CD: Causal Decoder (因果解码器) | ED: Encoder-Decoder (编码器-解码器)


 Base-LLM

 大规模基础模型:表格中只罗列出参数量大于7B以上模型。查看完整列表 →

| 模型                    | 大小                        | 时间      | 语言 | 架构  | 下载                                                                                                                          | 项目                                                                                     | 机构                                                | 备注                                                                                                               |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| XVERSE-MoE            | 255B / A36B               | 2024-09 | 中英 | MoE | 🤗HF                                                                       | GitHub                                 | xverse-ai                                         | -                                                                                                                |
| Qwen-2.5              | 0.5\~72B (7档)             | 2024-09 | 中英 | CD  | 🤗HF                                             | GitHub                                            | QwenLM                                            | Blog                                                                   |
| Tele-FLM              | 52B / 102B / 1TB          | 2024-07 | 多语 | CD  | 🤗HF                                                                                       | -                                                                                      | CofeAI                                            | Paper                                                             

Top issues

Discussions

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON