jzhang38 /TinyLlama

The TinyLlama project is an open endeavor to pretrain a 1.1B Llama model on 3 trillion tokens.

★ 9,001⑂ 634👁 1⑃ 43● 165▤ 0
PythonApache-2.0Created 2023-09-02
+0
日增长
9,001
stars
634
forks
1
watchers
43
prs
165
issues
0
releases

README

TinyLlama-1.1B
English | 中文

Chat Demo


TinyLlama项目旨在在3万亿tokens上进行预训练,构建一个拥有11亿参数的Llama模型。经过精心优化,我们"仅"需16块A100-40G的GPU,便可在90天内完成这个任务🚀🚀。训练已于2023-09-01开始。



  

我们采用了与Llama 2完全相同的架构和分词器。这意味着TinyLlama可以在许多基于Llama的开源项目中即插即用。此外,TinyLlama只有1.1B的参数,体积小巧,适用于需要限制计算和内存占用的多种应用。

 新闻

 2023-12-18:
   添加两个文档 1, 2 说明训练曲线、项目时间表和错误修复的变化。
 2023-10-03: 
   在speculative decoding中添加llama.cpp的代码示例。具体请查看 speculative_decoding/README.md。
   2023-10-02: 1. 1T-token检查点刚发布。2. 我们在huggingface上记录了所有中间检查点。
   2023-09-28: 启用Discord服务器。
 2023-09-18: 
   发布了一个 chat demo,欢迎点击链接来尝试我们的模型。
 2023-09-16: 
   发布了目前已经训练了 5.03 亿个 token 的 checkpoints 模型。 
   基于 5.03 亿 token 的 checkpoints 模型 在 OpenAssistant 数据集上微调并开源了聊天模型 TinyLlama-Chat-V0.1 ,并添加了我们的 微调脚本 。
   添加了更多的评测数据集,您可以通过 EVAL.md 文件来查看我们各模型的结果。




 发布时间表

我们会根据以下计划逐步发布中间checkpoint。我们也列了一些基线模型进行比较。

基座模型:

| Date       | 模型权重                                              | Tokens | Step | Commonsense Avg |
| ---------- | ------------------------------------------------------------ | ------ | ---- | --------------- |
| 2023-09-01 | Pythia-1.0B                                                  | 300B   | 143k | 48.30           |
| 2023-09-04 | TinyLlama-1.1B-intermediate-step-50k-105b (ModelScope) | 105B   | 50k  | 46.11           |
| 2023-09-16 | TinyLlama-1.1B-intermediate-step-240k-503b (ModelScope) | 503B   | 240K | 48.28           |
| 2023-10-01 | TinyLlama-1.1B-intermediate-step-480k-1T | 1T     | 480k | 50.22 |
| 2023-11-04 | TinyLlama-1.1B-intermediate-step-715k-1.5T                                            | 1.5T     |715k    |51.28 |
| 2023-11-20 | TinyLlama-1.1B-intermediate-step-955k-2T                                            | 2T     |955k    |51.64 |
| 2023-12-11 | TinyLlama-1.1B-intermediate-step-1195k-2.5T              | 2.5T     | 1195k    |53.86 |
| 2023-12-28 | TinyLlama-1.1B-intermediate-step-1431k-3T              | 3T   | 1431k  | 52.99 |

对话模型:

| Date       | 模型权重                                  | Tokens | Step | Commonsense Avg |
|------------|-------------------------------------------------|--------|------| --------------- |
| 2023-09-16 | TinyLlama-1.1B-Chat-V0.1 (ModelScope)                                         | 503B   | 240K    |  49.57 |
| 2023-10-1 | TinyLlama-1.1B-Chat-V0.3                                            | 1T   | 480K    |  51.36 |
| 2023-11-04 | TinyLlama-1.1B-Chat-V0.4                                            | 1.5T   | 715K    |  52.30 |

需要注意的是,由于我们的现在模型还处于训练初期,学习率并没有完全稳定下来,为了更好的体验我们的模型,您可以下载我们 聊天模型 或者通过 chat demo 来尝试我们的模型。


你们也可以在这里实时跟踪TinyLlama的训练损失。

 潜在场景
小型但强大的语言模型对许多应用都很有用。以下是一些潜在的场景:
- 帮助对大型模型进行speculative decoding。
- 在边缘装置上运行,比如离线的实时机器翻译 (TinyLlama的4比特量化版本的模型权重只需要550MB的内存)。
- 在游戏中实现实时对话生成(因为还得给游戏本身留显存所以模型要小)。

此外,我们的代码可以给初学者做一个入门预训练的简洁参考。如果你要训练50亿以下参数的语言模型, 你其实不需要Megatron-LM。

 训练细节
以下是我们训练设置的一些细节:

| Setting                         | Description                                                    |
|---------------------------------|------------------------------------

Top issues

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON