zai-org /CodeGeeX

CodeGeeX: An Open Multilingual Code Generation Model (KDD 2023)

★ 8,792⑂ 687👁 86⑃ 42● 247▤ 0
PythonApache-2.0Created 2022-09-17codegeex.cn
+0
日增长
8,792
stars
687
forks
86
watchers
42
prs
247
issues
0
releases

README

🏠 主页 | 📖 博客 | 🪧 示例 | 🤖 模型下载 | 📄 论文 | 🌐 English


    🛠 VS Code, Jetbrains, Cloud Studio 插件 | 👋 欢迎加入 微信开发者交流群 


🌟 CodeGeeX2 已推出,更强,更快,更轻量。

- CodeGeeX: 多语言代码生成模型
  - 新闻
  - 使用指南
    - 安装
    - 模型权重
    - 用GPU进行推理
    - 插件使用指南
  - CodeGeeX: 多语言代码生成模型
    - 国产平台实现与训练
  - HumanEval-X: 多语言代码生成基准
    - 多语言代码生成
    - 跨语言代码翻译
  - 许可证
  - 引用
 CodeGeeX: 多语言代码生成模型

CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。CodeGeeX采用华为MindSpore框架实现,在鹏城实验室“鹏城云脑II”中的192个节点(共1536个国产昇腾910 AI处理器)上训练而成。截至2022年6月22日,CodeGeeX历时两个月在20多种编程语言的代码语料库(8500亿Token)上预训练得到。CodeGeeX有以下特点:
 高精度代码生成:支持生成Python、C++、Java、JavaScript和Go等多种主流编程语言的代码,在HumanEval-X代码生成任务上取得47%~60%求解率,较其他开源基线模型有更佳的平均性能。代码生成示例
 跨语言代码翻译:支持代码片段在不同编程语言间进行自动翻译转换,翻译结果正确率高,在HumanEval-X代码翻译任务上超越了其它基线模型。代码翻译示例
 自动编程插件:CodeGeeX插件现已上架VSCode插件市场(完全免费),用户可以通过其强大的少样本生成能力,自定义代码生成风格和能力,更好辅助代码编写。插件下载
 模型跨平台开源: 所有代码和模型权重开源开放,用作研究用途。CodeGeeX同时支持昇腾和英伟达平台,可在单张昇腾910或英伟达V100/A100上实现推理。申请模型权重

全新多编程语言评测基准HumanEval-X:HumanEval-X是第一个支持功能正确性评测的多语言、多任务的基准,包含820个人工编写的高质量代码生成题目、测试用例与参考答案,覆盖5种编程语言(Python、C++、Java、JavaScript、Go),支持代码生成与代码翻译能力的评测。如何使用



在HumanEval-X代码生成任务上,与其它开源基线模型相比,CodeGeeX取得了最佳的平均性能。 

 新闻

 🌟 2023-07-24: CodeGeeX2 已推出,更强,更快,更轻量。支持超过100种语言,并具有多种新特性。

 2023-5-16: CodeGeeX 论文已被 KDD 2023, Long Beach 接收,并将在会上做相关报告。

 2023-03-30: CodeGeeX 论文已发表在arxiv。

 2023-02-14: CodeGeeX 现已支持 Cloud Studio, 一款腾讯推出、十分好用的在线编辑器。单击此页面顶部的徽章可快速启动环境测试 CodeGeeX。

 2023-02-13: 感谢 OneFlow 加入了oneflow版推理支持,在FP16下比FasterTransformer还要快!更多优化细节请点击这里.

 2023-02: CodeGeeX "Coding With AI"黑客松正在进行中,为CodeGeeX设计应用并赢取奖品(RTX 4090、DJI无人机等)!

 2022-12-31: 我们在 codegeex-fastertransformer 中发布了 CodeGeeX 的 FasterTransformer 版本。INT8加速版本达到  15GB)以及模型并行代码(可以运行在多个显存至少8GB的GPUs上)。

 2022-09-30: 我们开源了跨平台代码和模型权重,同时支持昇腾和英伟达平台。
 使用指南

CodeGeeX最初使用Mindspore框架实现,并在昇腾910AI芯片上进行训练。为适配更多平台,我们将其转换到Megatron-LM框架,支持Pytorch+GPU环境。
 安装

需要Python 3.7+ / CUDA 11+ / PyTorch 1.10+ / DeepSpeed 0.6+,通过以下命令安装 codegeex: 
bash
git clone [email protected]:THUDM/CodeGeeX.git
cd CodeGeeX
pip install -e .


 模型权重

通过该链接申请权重,您将收到一个包含临时下载链接文件urls.txt的邮件。推荐使用aria2通过以下命令快速下载(请保证有足够的硬盘空间存放权重(~26GB)):
bash
aria2c -x 16 -s 16 -j 4 --continue=true -i urls.txt 
 
使用以下命令合并得到完整的权重:
bash
cat codegeex_13b.tar.gz.  codegeex_13b.tar.gz
tar xvf codegeex_13b.tar.gz


 用GPU进行推理

尝试使用CodeGeeX模型生成第一个程序吧!首先,在配置文件configs/codegeex_13b.sh中写明存放权重的路径。其次,将提示(可以是任意描述或代码片段)写入文件tests/test_prompt.txt,运行以下脚本即可开始推理(需指定GPU序号):
bash
 On a single GPU (with more than 27GB RAM)
bash ./scripts/test_inference.sh  ./tests/test_prompt.txt

 With quantization (with more than 15GB RAM)
bash ./scripts/test_inference_quantized.sh  ./tests/test_prompt.txt

 On multiple GPUs (with more than 6GB RAM, need to first convert ckpt to MP_SIZE partitions)
bash ./scripts/convert_ckpt_parallel.sh   
bash ./scripts/test_inference_parallel.sh  ./tests/test_prompt.txt


 插件使用指南

基于CodeGeeX,我们开发了免费的插件,支持 VS Code 与 Jetbrains IDEs,未来会支持更多平台。

VS Code版本,在应用市场搜索“codegeex”或通过该链接安装。详细的使用指南在CodeGeeX VS Code插件使用指南。我们也开源了VS Code插件源码:codegeex-vscode-extension,参考QuickStart 开始开发吧!

Jetbrains版本

Top issues

Discussions

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON