zai-org /CodeGeeX
CodeGeeX: An Open Multilingual Code Generation Model (KDD 2023)
★ 8,792⑂ 687👁 86⑃ 42● 247▤ 0
+0
日增长
8,792
stars
687
forks
86
watchers
42
prs
247
issues
0
releases
README
🏠 主页 | 📖 博客 | 🪧 示例 | 🤖 模型下载 | 📄 论文 | 🌐 English
🛠 VS Code, Jetbrains, Cloud Studio 插件 | 👋 欢迎加入 微信开发者交流群
🌟 CodeGeeX2 已推出,更强,更快,更轻量。
- CodeGeeX: 多语言代码生成模型
- 新闻
- 使用指南
- 安装
- 模型权重
- 用GPU进行推理
- 插件使用指南
- CodeGeeX: 多语言代码生成模型
- 国产平台实现与训练
- HumanEval-X: 多语言代码生成基准
- 多语言代码生成
- 跨语言代码翻译
- 许可证
- 引用
CodeGeeX: 多语言代码生成模型
CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。CodeGeeX采用华为MindSpore框架实现,在鹏城实验室“鹏城云脑II”中的192个节点(共1536个国产昇腾910 AI处理器)上训练而成。截至2022年6月22日,CodeGeeX历时两个月在20多种编程语言的代码语料库(8500亿Token)上预训练得到。CodeGeeX有以下特点:
高精度代码生成:支持生成Python、C++、Java、JavaScript和Go等多种主流编程语言的代码,在HumanEval-X代码生成任务上取得47%~60%求解率,较其他开源基线模型有更佳的平均性能。代码生成示例
跨语言代码翻译:支持代码片段在不同编程语言间进行自动翻译转换,翻译结果正确率高,在HumanEval-X代码翻译任务上超越了其它基线模型。代码翻译示例
自动编程插件:CodeGeeX插件现已上架VSCode插件市场(完全免费),用户可以通过其强大的少样本生成能力,自定义代码生成风格和能力,更好辅助代码编写。插件下载
模型跨平台开源: 所有代码和模型权重开源开放,用作研究用途。CodeGeeX同时支持昇腾和英伟达平台,可在单张昇腾910或英伟达V100/A100上实现推理。申请模型权重
全新多编程语言评测基准HumanEval-X:HumanEval-X是第一个支持功能正确性评测的多语言、多任务的基准,包含820个人工编写的高质量代码生成题目、测试用例与参考答案,覆盖5种编程语言(Python、C++、Java、JavaScript、Go),支持代码生成与代码翻译能力的评测。如何使用
在HumanEval-X代码生成任务上,与其它开源基线模型相比,CodeGeeX取得了最佳的平均性能。
新闻
🌟 2023-07-24: CodeGeeX2 已推出,更强,更快,更轻量。支持超过100种语言,并具有多种新特性。
2023-5-16: CodeGeeX 论文已被 KDD 2023, Long Beach 接收,并将在会上做相关报告。
2023-03-30: CodeGeeX 论文已发表在arxiv。
2023-02-14: CodeGeeX 现已支持 Cloud Studio, 一款腾讯推出、十分好用的在线编辑器。单击此页面顶部的徽章可快速启动环境测试 CodeGeeX。
2023-02-13: 感谢 OneFlow 加入了oneflow版推理支持,在FP16下比FasterTransformer还要快!更多优化细节请点击这里.
2023-02: CodeGeeX "Coding With AI"黑客松正在进行中,为CodeGeeX设计应用并赢取奖品(RTX 4090、DJI无人机等)!
2022-12-31: 我们在 codegeex-fastertransformer 中发布了 CodeGeeX 的 FasterTransformer 版本。INT8加速版本达到 15GB)以及模型并行代码(可以运行在多个显存至少8GB的GPUs上)。
2022-09-30: 我们开源了跨平台代码和模型权重,同时支持昇腾和英伟达平台。
使用指南
CodeGeeX最初使用Mindspore框架实现,并在昇腾910AI芯片上进行训练。为适配更多平台,我们将其转换到Megatron-LM框架,支持Pytorch+GPU环境。
安装
需要Python 3.7+ / CUDA 11+ / PyTorch 1.10+ / DeepSpeed 0.6+,通过以下命令安装 codegeex:
bash
git clone [email protected]:THUDM/CodeGeeX.git
cd CodeGeeX
pip install -e .
模型权重
通过该链接申请权重,您将收到一个包含临时下载链接文件urls.txt的邮件。推荐使用aria2通过以下命令快速下载(请保证有足够的硬盘空间存放权重(~26GB)):
bash
aria2c -x 16 -s 16 -j 4 --continue=true -i urls.txt
使用以下命令合并得到完整的权重:
bash
cat codegeex_13b.tar.gz. codegeex_13b.tar.gz
tar xvf codegeex_13b.tar.gz
用GPU进行推理
尝试使用CodeGeeX模型生成第一个程序吧!首先,在配置文件configs/codegeex_13b.sh中写明存放权重的路径。其次,将提示(可以是任意描述或代码片段)写入文件tests/test_prompt.txt,运行以下脚本即可开始推理(需指定GPU序号):
bash
On a single GPU (with more than 27GB RAM)
bash ./scripts/test_inference.sh ./tests/test_prompt.txt
With quantization (with more than 15GB RAM)
bash ./scripts/test_inference_quantized.sh ./tests/test_prompt.txt
On multiple GPUs (with more than 6GB RAM, need to first convert ckpt to MP_SIZE partitions)
bash ./scripts/convert_ckpt_parallel.sh
bash ./scripts/test_inference_parallel.sh ./tests/test_prompt.txt
插件使用指南
基于CodeGeeX,我们开发了免费的插件,支持 VS Code 与 Jetbrains IDEs,未来会支持更多平台。
VS Code版本,在应用市场搜索“codegeex”或通过该链接安装。详细的使用指南在CodeGeeX VS Code插件使用指南。我们也开源了VS Code插件源码:codegeex-vscode-extension,参考QuickStart 开始开发吧!
Jetbrains版本Top issues
#15模型微调和离线部署31 comments · 2022-11-14#67Is there a way to try CodeGeeX in an online web app?7 comments · 2023-02-13#50Unable to generate code in Visual Studio Code. SSL Error7 comments · 2023-01-12#21CodeGeek make VSC too slowly to develop.6 comments · 2022-11-18#45Need to Fix Unit Test Code for Some JavaScript Problems of HumanEval-X5 comments · 2023-01-04#270启用codegeex后,重新ssh连接会导致在tmux会话中运行的程序被kill4 comments · 2025-04-20#254循环登录4 comments · 2024-07-25#252关于humaneval-x pass为0的问题4 comments · 2024-05-28
Discussions
#278correction0 comments · 2025-12-07#208[question][login] Hide login "Welcome" notification0 comments · 2023-08-21#152Why does my codegeex in vs code not response anything?1 comments · 2023-05-20#126What I think a code assistant should do0 comments · 2023-04-20#85CodeGeeX Poll: Add your favourite programming languages to CodeGeeX0 comments · 2023-03-14#84Welcome to CodeGeeX Discussions!0 comments · 2023-03-13