YAYI大模型学习资源汇总 - 基于LlaMA 2的中文多领域大语言模型

YAYI大模型学习资源汇总

YAYI是一个基于LlaMA 2的中文多领域大语言模型,由中科闻歌研发团队开源。本文汇总了YAYI的相关学习资源,帮助读者快速了解和使用这个模型。

项目简介

YAYI是一个在百万级高质量中文领域数据上微调的大语言模型,覆盖了媒体宣传、舆情分析、公共安全、金融风控、城市治理等多个领域。模型具有以下特点:

基于LLaMA 2和BLOOM系列模型训练增强了中文基础能力和领域分析能力支持多轮对话和部分插件能力经过大量用户测试,提升了性能和安全性

模型下载

YAYI提供了以下几个版本的模型权重:

YAYI-7BYAYI-7B-Llama2YAYI-13B-Llama2

可以直接从Hugging Face下载使用。

快速使用

以下是使用YAYI-7B模型进行推理的示例代码:

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfigimport torchyayi_7b_path = "wenge-research/yayi-7b"tokenizer = AutoTokenizer.from_pretrained(yayi_7b_path)model = AutoModelForCausalLM.from_pretrained(yayi_7b_path, device_map="auto", torch_dtype=torch.bfloat16)prompt = "你好"formatted_prompt = f"<|System|>: A chat between a human and an AI assistant named YaYi. YaYi is a helpful and harmless language model developed by Beijing Wenge Technology Co.,Ltd. <|Human|>: {prompt} <|YaYi|>:"inputs = tokenizer(formatted_prompt, return_tensors="pt").to(model.device)eos_token_id = tokenizer("<|End|>").input_ids[0]generation_config = GenerationConfig( eos_token_id=eos_token_id, pad_token_id=eos_token_id, do_sample=True, max_new_tokens=100, temperature=0.3, repetition_penalty=1.1, no_repeat_ngram_size=0)response = model.generate(**inputs, generation_config=generation_config)print(tokenizer.decode(response[0]))

模型微调

YAYI项目提供了完整的微调代码,支持以下几种微调方式:

指令数据全参数微调指令数据LoRA微调多轮对话数据全参数微调多轮对话数据LoRA微调

微调数据格式和运行命令可参考GitHub仓库。

训练数据

YAYI基于中科闻歌百万级高质量领域指令数据集训练而来,开源了5万条训练数据,可在Hugging Face数据仓库下载。数据集涵盖金融、安全、舆情、媒体等领域。

更多资源

YAYI项目GitHub仓库YAYI模型在线体验技术报告论文

通过以上资源,相信读者可以快速上手YAYI大模型,并将其应用到实际项目中。YAYI作为一个开源的中文大语言模型,未来还会持续更新,欢迎大家关注和使用!