首页 > 分享 > 掌握GLM

掌握GLM

花匠小妙招
2024-11-12 02:19

[GLM4]是清华智谱团队最近开源的大语言模型。

以GLM4作为基座大模型，通过指令微调的方式做高精度的命名实体识别（NER），是学习入门LLM微调、建立大模型认知的非常好的任务。

知识点1：什么是指令微调？

大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。

指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。

在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的NLP任务。所以这类任务的应用场景覆盖了以往NLP模型的场景，甚至很多团队拿它来标注互联网数据。

知识点2：什么是命名实体识别？

命名实体识别 (NER) 是一种NLP技术，主要用于识别和分类文本中提到的重要信息（关键词）。这些实体可以是人名、地名、机构名、日期、时间、货币值等等。 NER 的目标是将文本中的非结构化信息转换为结构化信息，以便计算机能够更容易地理解和处理。

在这里插入图片描述

NER 也是一项非常实用的技术，包括在互联网数据标注、搜索引擎、推荐系统、知识图谱、医疗保健等诸多领域有广泛应用。

1.环境安装

本案例基于Python>=3.8，请在您的计算机上安装好Python，并且有一张英伟达显卡（显存要求并不高，大概10GB左右就可以跑）。

我们需要安装以下这几个Python库，在这之前，请确保你的环境内已安装好了pytorch以及CUDA：

swanlab modelscope transformers datasets peft accelerate pandas tiktoken 123456789

一键安装命令：

pip install swanlab modelscope transformers datasets peft pandas accelerate tiktoken 12

本案例测试于modelscope1.14.0、transformers4.41.2、datasets2.18.0、peft0.11.1、accelerate0.30.1、swanlab0.3.11、tiktoken==0.7.0

2.准备数据集

本案例使用的是HuggingFace上的[chinese_ner_sft]数据集，该数据集主要被用于训练命名实体识别模型。

在这里插入图片描述

chinese_ner_sft由不同来源、不同类型的几十万条数据组成，应该是我见过收录最齐全的中文NER数据集。

这次训练我们不需要用到它的全部数据，只取其中的CCFBDCI数据集（中文命名实体识别算法鲁棒性评测数据集）进行训练，该数据集包含LOC（地点）、GPE（地理）、ORG（组织）和PER（人名）四种实体类型标注，每条数据的例子如下：

{ "text": "今天亚太经合组织第十二届部长级会议在这里开幕，中国外交部部长唐家璇、外经贸部部长石广生出席了会议。", "entities": [ { "start_idx": 23, "end_idx": 25, "entity_text": "中国", "entity_label": "GPE", "entity_names": ["地缘政治实体", "政治实体", "地理实体", "社会实体"]}, { "start_idx": 25, "end_idx": 28, "entity_text": "外交部", "entity_label": "ORG", "entity_names": ["组织", "团体", "机构"] }, { "start_idx": 30, "end_idx": 33, "entity_text": "唐家璇", "entity_label": "PER", "entity_names": ["人名", "姓名"] }, ... ], "data_source": "CCFBDCI" }

12345678910111213141516171819202122232425262728

其中text是输入的文本，entities是文本抽取出的实体。我们的目标是希望微调后的大模型能够根据由text组成的提示词，预测出一个json格式的实体信息：

输入：今天亚太经合组织第十二届部长级会议在这里开幕，中国外交部部长唐家璇、外经贸部部长石广生出席了会议。大模型输出：{"entity_text":"中国", "entity_label":"组织"}{"entity_text":"唐家璇", "entity_label":"人名"}... 1234

现在我们将数据集下载到本地目录。下载方式是前往[chinese_ner_sft - huggingface]下载ccfbdci.jsonl到项目根目录下即可：

在这里插入图片描述

3. 加载模型

这里我们使用modelscope下载GLM4-9b-Chat模型（modelscope在国内，所以直接用下面的代码自动下载即可，不用担心速度和稳定性问题），然后把它加载到Transformers中进行训练：

from modelscope import snapshot_download, AutoTokenizer from transformers import AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForSeq2Seq import torch model_id = "ZhipuAI/glm-4-9b-chat" model_dir = "./ZhipuAI/glm-4-9b-chat/" # 在modelscope上下载GLM4模型到本地目录下 model_dir = snapshot_download(model_id, cache_dir="./", revision="master") # Transformers加载模型权重 tokenizer = AutoTokenizer.from_pretrained(model_dir, use_fast=False, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True) model.enable_input_require_grads() # 开启梯度检查点时，要执行该方法 123456789101112131415

4. 配置LoRA

from peft import LoraConfig, TaskType, get_peft_model config = LoraConfig( task_type=TaskType.CAUSAL_LM, target_modules=["query_key_value", "dense", "dense_h_to_4h", "activation_func", "dense_4h_to_h"], inference_mode=False, # 训练模式 r=8, # Lora 秩 lora_alpha=32, # Lora alaph，具体作用参见 Lora 原理 lora_dropout=0.1, # Dropout 比例 ) model = get_peft_model(model, config) 12345678910111213

5. 配置训练可视化工具

我们使用SwanLab来监控整个训练过程，并评估最终的模型效果。

这里直接使用SwanLab和Transformers的集成来实现：

from swanlab.integration.huggingface import SwanLabCallback swanlab_callback = SwanLabCallback(...) trainer = Trainer( ... callbacks=[swanlab_callback], ) 12345678910

如果你是第一次使用SwanLab，那么还需要去[swanlab.cn]上注册一个账号，在用户设置页面复制你的API Key，然后在训练开始时粘贴进去即可：

在这里插入图片描述

6. 完整代码

开始训练时的目录结构：

|--- train.py |--- ccfbdci.jsonl 123

train.py:

import json import pandas as pd import torch from datasets import Dataset from modelscope import snapshot_download, AutoTokenizer from swanlab.integration.huggingface import SwanLabCallback from peft import LoraConfig, TaskType, get_peft_model from transformers import AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForSeq2Seq import os import swanlab def dataset_jsonl_transfer(origin_path, new_path): """ 将原始数据集转换为大模型微调所需数据格式的新数据集 """ messages = [] # 读取旧的JSONL文件 with open(origin_path, "r") as file: for line in file: # 解析每一行的json数据 data = json.loads(line) input_text = data["text"] entities = data["entities"] match_names = ["地点", "人名", "地理实体", "组织"] entity_sentence = "" for entity in entities: entity_json = dict(entity) entity_text = entity_json["entity_text"] entity_names = entity_json["entity_names"] for name in entity_names: if name in match_names: entity_label = name break entity_sentence += f"""{{"entity_text": "{entity_text}", "entity_label": "{entity_label}"}}""" if entity_sentence == "": entity_sentence = "没有找到任何实体" message = { "instruction": """你是一个文本实体识别领域的专家，你需要从给定的句子中提取地点; 人名; 地理实体; 组织实体. 以 json 格式输出, 如 {"entity_text": "南京", "entity_label": "地理实体"} 注意: 1. 输出的每一行都必须是正确的 json 字符串. 2. 找不到任何实体时, 输出"没有找到任何实体". """, "input": f"文本:{input_text}", "output": entity_sentence, } messages.append(message) # 保存重构后的JSONL文件 with open(new_path, "w", encoding="utf-8") as file: for message in messages: file.write(json.dumps(message, ensure_ascii=False) + "n") def process_func(example): """ 对数据集进行数据预处理，主要用于被dataset.map调用 """ MAX_LENGTH = 384 input_ids, attention_mask, labels = [], [], [] system_prompt = """你是一个文本实体识别领域的专家，你需要从给定的句子中提取地点; 人名; 地理实体; 组织实体. 以 json 格式输出, 如 {"entity_text": "南京", "entity_label": "地理实体"} 注意: 1. 输出的每一行都必须是正确的 json 字符串. 2. 找不到任何实体时, 输出"没有找到任何实体".""" instruction = tokenizer( f"<|system|>n{system_prompt}<|endoftext|>n<|user|>n{example['input']}<|endoftext|>n<|assistant|>n", add_special_tokens=False, ) response = tokenizer(f"{example['output']}", add_special_tokens=False) input_ids = instruction["input_ids"] + response["input_ids"] + [tokenizer.pad_token_id] attention_mask = ( instruction["attention_mask"] + response["attention_mask"] + [1] ) labels = [-100] * len(instruction["input_ids"]) + response["input_ids"] + [tokenizer.pad_token_id] if len(input_ids) > MAX_LENGTH: # 做一个截断 input_ids = input_ids[:MAX_LENGTH] attention_mask = attention_mask[:MAX_LENGTH] labels = labels[:MAX_LENGTH] return {"input_ids": input_ids, "attention_mask": attention_mask, "labels": labels} def predict(messages, model, tokenizer): """对测试集进行模型推理，得到预测结果""" device = "cuda" text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors="pt").to(device) generated_ids = model.generate( model_inputs.input_ids, max_new_tokens=512 ) generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ] response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] print(response) return response model_id = "ZhipuAI/glm-4-9b-chat" model_dir = "./ZhipuAI/glm-4-9b-chat/" # 在modelscope上下载GLM4模型到本地目录下 model_dir = snapshot_download(model_id, cache_dir="./", revision="master") # Transformers加载模型权重 tokenizer = AutoTokenizer.from_pretrained(model_dir, use_fast=False, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True) model.enable_input_require_grads() # 开启梯度检查点时，要执行该方法 # 加载、处理数据集和测试集 train_dataset_path = "ccfbdci.jsonl" train_jsonl_new_path = "ccf_train.jsonl" if not os.path.exists(train_jsonl_new_path): dataset_jsonl_transfer(train_dataset_path, train_jsonl_new_path) # 得到训练集 total_df = pd.read_json(train_jsonl_new_path, lines=True) train_df = total_df[int(len(total_df) * 0.1):] train_ds = Dataset.from_pandas(train_df) train_dataset = train_ds.map(process_func, remove_columns=train_ds.column_names) # 配置LoRA config = LoraConfig( task_type=TaskType.CAUSAL_LM, target_modules=["query_key_value", "dense", "dense_h_to_4h", "activation_func", "dense_4h_to_h"], inference_mode=False, # 训练模式 r=8, # Lora 秩 lora_alpha=32, # Lora alaph，具体作用参见 Lora 原理 lora_dropout=0.1, # Dropout 比例 ) # 得到被peft包装后的模型 model = get_peft_model(model, config) # 配置Transformers训练参数 args = TrainingArguments( output_dir="./output/GLM4-NER", per_device_train_batch_size=4, per_device_eval_batch_size=4, gradient_accumulation_steps=4, logging_steps=10, num_train_epochs=2, save_steps=100, learning_rate=1e-4, save_on_each_node=True, gradient_checkpointing=True, report_to="none", ) # 设置SwanLab与Transformers的回调 swanlab_callback = SwanLabCallback( project="GLM4-NER-fintune", experiment_name="GLM4-9B-Chat", description="使用智谱GLM4-9B-Chat模型在NER数据集上微调，实现关键实体识别任务。", config={ "model": model_id, "model_dir": model_dir, "dataset": "qgyd2021/chinese_ner_sft", }, ) # 设置Transformers Trainer trainer = Trainer( model=model, args=args, train_dataset=train_dataset, data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True), callbacks=[swanlab_callback], ) # 开始训练 trainer.train() # 用随机20条数据测试模型 test_df = total_df[:int(len(total_df) * 0.1)].sample(n=20) test_text_list = [] for index, row in test_df.iterrows(): instruction = row['instruction'] input_value = row['input'] messages = [ {"role": "system", "content": f"{instruction}"}, {"role": "user", "content": f"{input_value}"} ] response = predict(messages, model, tokenizer) messages.append({"role": "assistant", "content": f"{response}"}) result_text = f"{messages[0]}nn{messages[1]}nn{messages[2]}" test_text_list.append(swanlab.Text(result_text, caption=response)) # 记录测试结果 swanlab.log({"Prediction": test_text_list}) # 关闭SwanLab记录 swanlab.finish()

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205

看到下面的进度条即代表训练开始：

在这里插入图片描述

7.训练结果演示

在SwanLab上查看最终的训练结果：

可以看到在2个epoch之后，微调后的GLM4的loss降低到了不错的水平——当然对于大模型来说，真正的效果评估还得看主观效果。

在这里插入图片描述

可以看到在一些测试样例上，微调后的GLM4能够给出准确的NER结果：

在这里插入图片描述

至此，你已经完成了qwen2指令微调的训练！

8.推理训练好的模型

训好的模型默认被保存在./output/GLM4-NER文件夹下。推理模型的代码如下：

import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel def predict(messages, model, tokenizer): device = "cuda" text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) model_inputs = tokenizer([text], return_tensors="pt").to(device) generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512) generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)] response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] return response model_dir = "./ZhipuAI/glm-4-9b-chat/" lora_dir = "./output/GLM4-NER/checkpoint-1700" # 加载原下载路径的tokenizer和model tokenizer = AutoTokenizer.from_pretrained(model_dir, use_fast=False, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", torch_dtype=torch.bfloat16) # 加载训练好的Lora模型 model = PeftModel.from_pretrained(model, model_id=lora_dir) input_text = "西安电子科技大学的陈志明爱上了隔壁西北工业大学苏春红，他们约定好毕业后去中国的苏州定居。" test_texts = { "instruction": """你是一个文本实体识别领域的专家，你需要从给定的句子中提取地点; 人名; 地理实体; 组织实体. 以 json 格式输出, 如; {"entity_text": "南京", "entity_label": "地理实体"} 注意: 1. 输出的每一行都必须是正确的 json 字符串. 2. 找不到任何实体时, 输出"没有找到任何实体". """, "input": f"文本:{input_text}" } instruction = test_texts['instruction'] input_value = test_texts['input'] messages = [ {"role": "system", "content": f"{instruction}"}, {"role": "user", "content": f"{input_value}"} ] response = predict(messages, model, tokenizer) print(response)

1234567891011121314151617181920212223242526272829303132333435363738394041424344

输出结果为：

{"entity_text": "西安电子科技大学", "entity_label": "组织"} {"entity_text": "陈志明", "entity_label": "人名"} {"entity_text": "西北工业大学", "entity_label": "组织"} {"entity_text": "苏春红", "entity_label": "人名"} {"entity_text": "中国", "entity_label": "地理实体"} {"entity_text": "苏州", "entity_label": "地理实体"} 12345678

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述