+0
日增长
9,001
stars
634
forks
1
watchers
43
prs
165
issues
0
releases
README
TinyLlama-1.1B English | 中文 Chat Demo TinyLlama项目旨在在3万亿tokens上进行预训练,构建一个拥有11亿参数的Llama模型。经过精心优化,我们"仅"需16块A100-40G的GPU,便可在90天内完成这个任务🚀🚀。训练已于2023-09-01开始。 我们采用了与Llama 2完全相同的架构和分词器。这意味着TinyLlama可以在许多基于Llama的开源项目中即插即用。此外,TinyLlama只有1.1B的参数,体积小巧,适用于需要限制计算和内存占用的多种应用。 新闻 2023-12-18: 添加两个文档 1, 2 说明训练曲线、项目时间表和错误修复的变化。 2023-10-03: 在speculative decoding中添加llama.cpp的代码示例。具体请查看 speculative_decoding/README.md。 2023-10-02: 1. 1T-token检查点刚发布。2. 我们在huggingface上记录了所有中间检查点。 2023-09-28: 启用Discord服务器。 2023-09-18: 发布了一个 chat demo,欢迎点击链接来尝试我们的模型。 2023-09-16: 发布了目前已经训练了 5.03 亿个 token 的 checkpoints 模型。 基于 5.03 亿 token 的 checkpoints 模型 在 OpenAssistant 数据集上微调并开源了聊天模型 TinyLlama-Chat-V0.1 ,并添加了我们的 微调脚本 。 添加了更多的评测数据集,您可以通过 EVAL.md 文件来查看我们各模型的结果。 发布时间表 我们会根据以下计划逐步发布中间checkpoint。我们也列了一些基线模型进行比较。 基座模型: | Date | 模型权重 | Tokens | Step | Commonsense Avg | | ---------- | ------------------------------------------------------------ | ------ | ---- | --------------- | | 2023-09-01 | Pythia-1.0B | 300B | 143k | 48.30 | | 2023-09-04 | TinyLlama-1.1B-intermediate-step-50k-105b (ModelScope) | 105B | 50k | 46.11 | | 2023-09-16 | TinyLlama-1.1B-intermediate-step-240k-503b (ModelScope) | 503B | 240K | 48.28 | | 2023-10-01 | TinyLlama-1.1B-intermediate-step-480k-1T | 1T | 480k | 50.22 | | 2023-11-04 | TinyLlama-1.1B-intermediate-step-715k-1.5T | 1.5T |715k |51.28 | | 2023-11-20 | TinyLlama-1.1B-intermediate-step-955k-2T | 2T |955k |51.64 | | 2023-12-11 | TinyLlama-1.1B-intermediate-step-1195k-2.5T | 2.5T | 1195k |53.86 | | 2023-12-28 | TinyLlama-1.1B-intermediate-step-1431k-3T | 3T | 1431k | 52.99 | 对话模型: | Date | 模型权重 | Tokens | Step | Commonsense Avg | |------------|-------------------------------------------------|--------|------| --------------- | | 2023-09-16 | TinyLlama-1.1B-Chat-V0.1 (ModelScope) | 503B | 240K | 49.57 | | 2023-10-1 | TinyLlama-1.1B-Chat-V0.3 | 1T | 480K | 51.36 | | 2023-11-04 | TinyLlama-1.1B-Chat-V0.4 | 1.5T | 715K | 52.30 | 需要注意的是,由于我们的现在模型还处于训练初期,学习率并没有完全稳定下来,为了更好的体验我们的模型,您可以下载我们 聊天模型 或者通过 chat demo 来尝试我们的模型。 你们也可以在这里实时跟踪TinyLlama的训练损失。 潜在场景 小型但强大的语言模型对许多应用都很有用。以下是一些潜在的场景: - 帮助对大型模型进行speculative decoding。 - 在边缘装置上运行,比如离线的实时机器翻译 (TinyLlama的4比特量化版本的模型权重只需要550MB的内存)。 - 在游戏中实现实时对话生成(因为还得给游戏本身留显存所以模型要小)。 此外,我们的代码可以给初学者做一个入门预训练的简洁参考。如果你要训练50亿以下参数的语言模型, 你其实不需要Megatron-LM。 训练细节 以下是我们训练设置的一些细节: | Setting | Description | |---------------------------------|------------------------------------
Top issues
#10How do you plan on dealing with hallucinations due to knowledge compression?16 comments · 2023-09-07#36Resuming training8 comments · 2023-09-22#141Does it support spanish language?7 comments · 2024-01-17#77Why is there a significant drop in `val_ppl` after fixing data-loading bug?7 comments · 2023-10-25#74The queries generated a lot of repetitions. Possible to provide 1T again "fix"?6 comments · 2023-10-20#124Add support for sliding window context similar to Mistral?4 comments · 2024-01-03#168Help me pls3 comments · 2024-03-17#203is somebody knows how many validation file there are?2 comments · 2025-03-08