[Readme ENG][Readme ZH]

CuteGPT是复旦大学知识工场实验室推出的一个支持中英双语的开源对话语言模型，基于Llama模型结构进行改进和扩展，规模为13B（130亿）参数，可以在单张3090显卡上进行int8精度的推理。CuteGPT基于Llama模型结构，修改了中文词表并进行了大量的预训练，提高了对中文的理解能力，后续经过对话指令微调，提升了模型对指令的理解能力。

在KW-CuteGPT-7b版本的基础上，KW-CuteGPT-13b的知识准确性、对复杂指令的理解、长文本理解能力、推理能力、忠实问答等能力均有提升。目前KW-CuteGPT-13b版本模型在部分测评任务中能够超越绝大多数同量级模型。

我们开源了以下版本的参数：

我们对部分典型的中英文数据集进行了评估，以下为CuteGPT模型在C-eval和XieZhi上的评测结果。

复旦大学肖仰华团队——獬豸（Xiezhi）是一套针对语言模型（LM）的领域评估Benchmark。它由249587道多选题组成，涉及516个不同的学科和三个不同的学科粒度。学科分类和所有的一级学科如下图所示，括号内表示的是每个一级学科下二级学科的个数。

所有被测试的LLM都需要从50个选项中选择最适合的答案。每道题除了正确答案外，还设置了3个易混淆的选项，另外还设置46个完全无关的选项，这些选项是从所有题目的所有选项中随机抽取的。值得注意的是，我们已经预先删除了要求选择错误答案的问题。

利用了每个模型生成特定答案的概率来计算每个模型选择每个选项的概率，然后根据概率对所有选项进行相应的排名，并使用了MRR作为衡量标准。MRR表示模型会将正确答案平均排在什么位置。MRR值接近1则表示模型更有能力将正确答案放在排名的前面；而如果MRR值接近0，则模型倾向于将正确答案放在最后。

以下的使用示例来自我们的工作CELLO，"Can Large Language Models Understand Real-World Complex Instructions?"。该工作旨在研究大语言模型理解复杂指令的能力，敬请关注。

conda create -n cutegpt python=3.7
conda activate cutegpt
pip install -r requirements.txt 

from transformers import LlamaForCausalLM, LlamaTokenizer
from peft import PeftModel
import torch

• 推理时的prompt模版

overall_instruction = "你是复旦大学知识工场实验室训练出来的语言模型CuteGPT。给定任务描述，请给出对应请求的回答。\n"
def generate_prompt(query, history, input=None):
    prompt = overall_instruction
    for i, (old_query, response) in enumerate(history):
        # 多轮对话需要跟训练时保持一致
        prompt  = "问：{}\n答：\n{}\n".format(old_query, response)
    prompt  = "问：{}\n答：\n".format(query)
    return prompt

• 推理代码

  可以直接运行以下脚本进行推理，需要两张3090显卡进行推理

  • 全量微调版本

    CUDA_VISIBLE_DEVICES=0,1 python inference_ft.py

  • LoRA版本

    CUDA_VISIBLE_DEVICES=0,1 python inference_lora.py

数据以 .pkl的形式存储，可以用以下代码查看数据：

import pickle
import random
file = 'data/test/ift_data.pkl'
with open(file, "rb") as f:
    datas = pickle.load(f)
print(len(datas))
print(random.sample(datas,3))

数据由二维数组保存，len(datas)为样本的数量，len(data[i])代表第 i个样本的对话轮数，其中每轮对话由 instruction、input、output三个键值构成。示例如下：

[[{'instruction': '请帮我生成一首诗。', 'input': '', 'output': '好的，请给我一些关键词来启发诗歌的创作。'},
  {'instruction': '月亮、海浪、夜晚。',
   'input': '',
   'output': '心中的孤独由天空掩盖，\n夜幕笼罩下，海浪轻扬，\n月光照亮着沙滩，\n让我不再孤单。'}],
 [{'instruction': '根据给定的数据集，训练一个能够对垃圾邮件进行分类的模型。\n提供垃圾邮件和非垃圾邮件两类的数据集。',
   'input': '',
   'output': '要训练一个能...'}]]

我们设计了基于td-idf和instruction、output长度的采样策略，提高了指令微调数据的多样性。

预处理数据，将数据拼接成多轮对话的格式，并编码得到 input_ids，存储下来

python code/convert_data.py \
	--tokenizer XuYipei/kw-cutegpt-13b-base \
	--max_length 2048 \
	--out_data_path data/test/

注意：如果是基于XuYipei/kw-cutegpt-13b-ift继续微调，需要将tokenizer换作XuYipei/kw-cutegpt-13b-ift，因为后者加了special token

训练模型

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 deepspeed --master_port 12932 code/finetune.py \
    --save_steps 2000 \
    --max_epoches 4 \
    --save_name llama_lora \
    --model_path XuYipei/kw-cutegpt-13b-base \
    --dataset_type DatasetIds \
    --data_path data/test/llama_ift_data_ids.pkl \
    --max_length 2048 \
    --use_lora \
    --use_flash_attention

参数说明

• model_path：base模型的路径
• dataset_type：封装数据的 dataset类定义，在 code/dataset.py中定义
• use_flash_attention：是否使用flash attention加快训练、减少显存消耗
• use_lora：是否采用lora微调，如果为否默认全量微调
• load_lora：是否读取lora checkpoint继续训练。如果 load_lora==True，在 load_lora_path中定义lora checkpoint的路径

注意：如果是全量微调，我们增加了special token（<end>）帮助模型更好地学习多轮对话的范式

具体的 deepspeed 参数（例如 learning rate、batch size）以及lora参数（例如 lora rank）见code/config.py

可以直接运行以下指令进行训练：

• 全量微调

  bash finetune_ft.sh
  

• LoRA微调

  bash finetune_lora.sh
  

Facebook官方发布的LLaMA模型 明确禁止商业用途。本项目开源的模型和代码仅用于学术应用。我们正在并行地训练商业版本的同等甚至更优的模型，以提供更高质量和更广泛适用性的解决方案。

本项目生成的内容可能受到多种因素的影响，如模型计算、随机性和量化精度损失等，因此我们无法对其准确性作出保证。我们郑重声明，对于使用本项目生成的任何内容所引发的一切后果，本项目概不负责。对于因使用本项目相关资源和输出结果而可能产生的任何损失，本项目不承担任何法律责任。对于基于用户不良诱导得出的不恰当言论，用户自行承担全部责任。

@misc{CuteGPT,
  author = {Jiaqing Liang, Qianyu He, Yipei Xu, Yikai Zhang, Yuncheng Huang, Wenhao Huang, Xintao Wang, Lida Chen, Haixia Han, Jie Shi, Tinghui Zhu, Yidan Xu, Shisong Chen, Zhouhong Gu, Yanghua Xiao},
  title = {CuteGPT: Towards a Useful Chinese Large Language Model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/Abbey4799/cuteGPT}},
}