+3
日增长
15,392
stars
1,495
forks
46
watchers
17
prs
23
issues
0
releases
README
LLMs 相关知识及面试题
简介
本仓库为大模型面试相关概念,由本人参考网络资源整理,欢迎阅读,如果对你有用,麻烦点一下 🌟 star,谢谢!
为了在低资源情况下,学习大模型,进行动手实践,创建 tiny-llm-zh仓库,旨在构建一个小参数量的中文大语言模型,该项目已部署,可以在如下网站上体验:ModeScope Tiny LLM。
动手实践项目:
- tiny-llm-zh : 从零实现一个小参数量的中文大语言模型,快速掌握大模型预训练、微调、RL等相关技术;
- tiny-rag : 实现一个简单的RAG系统,支持多路召回、重排等功能,快速了解搜索相关内容;
- tiny-mcp : 使用 Prompt 和 Function Calling 实现 MCP (模型上下文协议)服务端和客户端,快速使用MCP搭建Agent项目。
- llama3-from-scratch-zh : 从零实现 llama3, 可加载 meta 官方权重,可在本地笔记本(16G内存)调试运行
其他学习资源推荐:
- AI 工程师八股 : 包含深度学习、机器学习、推荐系统、搜索系统等通用知识
在线阅读
在线阅读链接:LLMs Interview Note
注意:
相关答案为自己撰写,若有不合理地方,请指出修正,谢谢!
欢迎关注微信公众号,会不定期更新LLM内容,以及一些面试经验:
目录
首页
真实面试题
01.大语言模型基础
1.1 大模型发展历程
1.语言模型
1.2 分词与词向量
1.分词
2.jieba分词用法及原理
3.词性标注
4.句法分析
5.词向量
1.3 语言模型基础知识
Word2Vec
NLP三大特征抽取器(CNN/RNN/TF)
NLP面试题
LLM为什么Decoder only架构
1.4 深度学习
1.激活函数
1.5 一些题目
1.llm概念
02.大语言模型架构
2.1 Transformer模型
1.attention
2.layer\_normalization
3.位置编码
4.tokenize分词
5.token及模型参数
6.激活函数
2.2 注意力
MHA\_MQA\_GQA
2.3 解码部分
解码策略(Top-k & Top-p & Temperature)
2.4 BERT
bert细节
Transformer架构细节
bert变种
2.5 常见大模型
llama系列模型
chatglm系列模型
llama 2代码详解
llama 3
2.6 MoE
1.MoE论文
2.MoE经典论文简牍
3.LLM MoE :Switch Transformers
03.训练数据集
3.1 数据集
数据格式
3.2 模型参数
04.分布式训练
4.1 基础知识
1.概述
2.数据并行
3.流水线并行
4.张量并行
5.序列并行
6.多维度混合并行
7.自动并行
8.moe并行
9.总结
4.2 DeepSpeed
deepspeed介绍
4.3 Megatron
4.4 训练加速
4.5 一些有用的文章
4.6 一些题目
1.分布式训练题目
2.显存问题
05.有监督微调
5.1 理论
1.基本概念
2.prompting
3.adapter-tuning
4.lora
5.总结
5.2 微调实战
llama2微调
ChatGLM3微调
5.3 一些题目
1.微调
2.预训练
06.推理
6.1 推理框架
0.llm推理框架简单总结
1.vllm
2.text_generation\_inference
3.faster_transformer
4.trt_llm
6.2 推理优化技术
llm推理优化技术
6.3 量化
6.4 vLLM
6.5 一些题目
1.推理
07.强化学习
7.1 强化学习原理
策略梯度(pg)
近端策略优化(ppo)/近端策略优化(ppo).md "近端策略优化(ppo)")
7.2 RLHF
大模型RLHF:PPO原理与源码解读
DPO
7.3 一些题目
1.rlhf相关
2.强化学习
08.检索增强RAG
8.1 RAG
检索增强llm
rag(检索增强生成)技术
8.2 Agent
大模型agent技术
09.大语言模型评估
9.1 模型评估
1.评测
9.2 LLM幻觉
1.大模型幻觉
2.幻觉来源与缓解
10.大语言模型应用
10.1 思维链提示
1.思维链(cot)
10.2 LangChain框架
1.langchain
98.相关课程
99.参考资料Top issues
#34RLHF中的loss计算好像有些问题1 comments · 2026-01-15#16大佬要不要补一下R1相关的1 comments · 2025-02-17#12无法打开在线阅读连接1 comments · 2024-11-26#7真实面试题缺失1 comments · 2024-06-05#38NLP面试题里面关于Skip-Gram的部分有错误0 comments · 2026-05-22#33面试AI工程师真的需要会这么多内容吗?0 comments · 2025-12-21#31预训练和微调哪个阶段注入知识的?0 comments · 2025-11-17#30attention公式中,分母的dk作用0 comments · 2025-09-15