Code Llama 是一系列专注于代码相关任务的大型语言模型，它构建在 Llama 2 的基础上，在开放模型中提供了先进的性能，它在填充能力、支持大输入上下文以及零指导编程任务的能力方面表现出色。
GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台
支持的模型种类如下：
提示#autodl#恒源云#矩池云#算力云#恒源云 实例迁移#autodl 官网#autodi#GpuMall#GPU云#AutoDL#AotuDL 算力云#GpuMall智算云#AI#大数据#算力租赁#大模型#深度学习#人工智能#算力变现
Code Llama 提供多个版本以涵盖各种应用领域，它包括如下模型：
- 基础模型
（Code Llama） - Python 专业化模型
（Code Llama - Python） - 遵循指导的模型
（Code Llama - Instruct）
这些模型具有不同的参数，包括 7B、13B 和 34B，以应对不同的使用情境
下面介绍如何在 GpuMall 平台使用已集成的 CodeLlama 模型
1. 选择 CodeLlama 镜像创建实例
选择完成后创建实例，然后点击
JupyterLab，进入终端。
2. 通过内网拉取 CodeLlama 模型
执行如下命令拉取可通过内网拉取的 CodeLlama 模型
curl
-fSLO
https://gpumall-static-data-public-prod.oss-cn-shanghai.aliyuncs.com/platform/instance/downmodel
chmod
+x downmodel
./downmodel
支持如下模型下载，根据您的需要下载对应模型:
1
.
)
: 下载 ChatLM3-6B 模型
./downmodel chatglm3-6b-model
2
.
)
: 下载 CodeLlama-7b 模型
./downmodel codeLlama-7b-model
3
.
)
: 下载 CodeLlama-13b 模型
./downmodel codeLlama-13b-model
4
.
)
: 下载 CodeLlama-34b 模型
./downmodel codeLlama-34b-model
5
.
)
: 下载 CodeLlama-7b-Python 模型
./downmodel codeLlama-7b-python-model
6
.
)
: 下载 CodeLlama-13b-Python 模型
./downmodel codeLlama-13b-python-model
7
.
)
: 下载 CodeLlama-34b-Python 模型
./downmodel codeLlama-34b-python-model
8
.
)
: 下载 CodeLlama-7b-Instruct 模型
./downmodel codeLlama-7b-instruct-model
9
.
)
: 下载 CodeLlama-13b-Instruct 模型
./downmodel codeLlama-13b-instruct-model
10
.
)
: 下载 CodeLlama-34b-Instruct 模型
./downmodel codeLlama-34b-instruct-model
脚本输入如上，执行不同命令来下载不同模型，这里下载
codeLlama-7b-model 模型
./downmodel codeLlama-7b-model
然后等待模型全部下载完成，通过上述操作拉取的模型会存储在
/gm-data/目录下，不建议移动，因为模型可能较大，系统盘空间不足以存储模型。
3. 测试 codellama 代码填充
#进入 codellama 目录
cd
/root/codellama/
#
torchrun
--nproc_per_node
1
example_completion.py
\
--ckpt_dir
/gm-data/CodeLlama-7b/
\
--tokenizer_path
/gm-data/CodeLlama-7b/tokenizer.model
\
--max_seq_len
128
--max_batch_size
4
输出如上图结果就说明
CodeLlama 已经可以正常使用了。
更多使用方法请参考： CodeLlama官方项目
如需通过公网访问请参考： 自定义服务