大模型微调：Prompt-Tuning

理论介绍

Prompt-Tuning是一种参数高效微调方法，核心思想可以类比：技术人员不去修改知识渊博的教科书（预训练好的大模型），而是在书的开头（输入层）添加几张非常智能的、可学习的便利贴(软提示/虚拟token(Soft Prompt) 或者叫虚拟提示词-Virtual Tokens)，便利贴上的内容不是固定的文字，而是模型可以自己学习调整的参数(向量)。

训练时，冻结原始模型的绝大部分参数，只训练新添加的便利贴参数，让模型看到特定的便利贴时，就按照我们期望的方式去执行任务。

核心原理图示

PLM(预训练模型)不变，W(模型权重)不变，X(模型输入)改变。

设计任务关联提示模板，并微调提示嵌入，以引导预训练模型适应特定任务。仅需微调少量提示(Prompt Embeddings)，而非整个模型参数。

相比传统微调的优势：

• • 训练快、资源省：只训练极少数参数。
• • 存储小：每个新任务只需要保存那些小小的便利贴参数，而不是整个模型。
• • 效果好：在很多任务上，Prompt-Tuning 的效果可以媲美完全微调。
• • 原模型不受影响：基础模型保持不变，可以方便地为不同任务加载不同的便利贴。

通过代码解读原理

代码将展示Prompt-Tuning的完整实现过程，并解释其工作原理。(运行环境需pip加装PEFT包，本代码采用的PEFT版本为0.14.0)。

Prompt-Tuning方法主要体现在第四步和第八步，需重点阅读，其余代码与往期基本一致。

第一步: 导入相关包

import torch
from datasets import Dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq, TrainingArguments, Trainer
from peft import PromptTuningConfig, get_peft_model, TaskType, PromptTuningInit, PeftModel

第二步: 加载数据集

# 包含 'instruction' (指令), 'input' (可选的额外输入), 'output' (期望的回答)
ds = Dataset.load_from_disk("../data/alpaca_data_zh/") 

第三步: 数据集预处理

将每个样本处理成包含 input_ids, attention_mask, 和 labels 的字典。

tokenizer = AutoTokenizer.from_pretrained("D:\\git\\model-download\\bloom-389m-zh") 
defprocess_func(example):

    MAX_LENGTH = 256

    # 构建输入文本：将指令和输入(可选)组合到一起，并添加明确的 "Human:" 和 "Assistant:" 标识符。"\n\nAssistant: " 是提示模型开始生成回答的关键分隔符。
    prompt = "\n".join(["Human: " + example["instruction"], example["input"]]).strip() + "\n\nAssistant: "
    # 对输入+提示进行分词，这里暂时不添加特殊token (<s>, </s>)，后面要拼接
    instruction_tokenized = tokenizer(prompt, add_special_tokens=False)
    # 对期望的输出（回答）进行分词，在回答的末尾加上 `tokenizer.eos_token` (end-of-sentence)。告诉模型生成到这里就可以结束。
    response_tokenized = tokenizer(example["output"] + tokenizer.eos_token, add_special_tokens=False)
    # 将输入提示和回答的 token IDs 拼接起来，形成完整的输入序列 input_ids
    input_ids = instruction_tokenized["input_ids"] + response_tokenized["input_ids"]
    # attention_mask 用于告诉模型哪些 token 是真实的、需要关注的，哪些是填充的（padding）。
    attention_mask = instruction_tokenized["attention_mask"] + response_tokenized["attention_mask"]
    # 创建标签 (labels)：这是模型需要学习预测的目标，因为只希望模型学习预测 "Assistant:" 后面的回答部分，所以将输入提示部分的标签设置为 -100，损失函数自动忽略标签为 -100 的 token，不计算它们的损失。
    labels = [-100] * len(instruction_tokenized["input_ids"]) + response_tokenized["input_ids"]
    
    # 截断
    iflen(input_ids) > MAX_LENGTH:
        input_ids = input_ids[:MAX_LENGTH]
        attention_mask = attention_mask[:MAX_LENGTH]
        labels = labels[:MAX_LENGTH]

    # 返回处理好的数据
    return {
        "input_ids": input_ids,
        "attention_mask": attention_mask,
        "labels": labels
    }
#  .map() 方法将处理函数应用到整个数据集的所有样本上。
tokenized_ds = ds.map(process_func, remove_columns=ds.column_names)    #  `remove_columns` 会移除原始的列，只保留 process_func 返回的新列。    
print("\n检查第2条数据处理结果:")
print("输入序列 (input_ids解码):", tokenizer.decode(tokenized_ds[1]["input_ids"]))
target_labels = list(filter(lambda x: x != -100, tokenized_ds[1]["labels"])) # 过滤掉 -100，看看模型真正需要预测的标签是什么
print("标签序列 (labels解码，过滤-100后):", tokenizer.decode(target_labels))

第四步: 创建模型与 PEFT 配置

这一步是Prompt-Tuning 的核心步骤，需要嵌入一段文本来初始化"虚拟提示词"，将文本分词后，对应的词向量（embedding）作为虚拟提示词的初始值。

最后的num_virtual_tokens是指虚拟提示词嵌入向量的数量，也是唯一需要训练的参数。

model = AutoModelForCausalLM.from_pretrained("D:\\git\\model-download\\bloom-389m-zh") 
# 配置 Prompt Tuning
config = PromptTuningConfig(
    task_type=TaskType.CAUSAL_LM,    # 因果语言模型
    prompt_tuning_init=PromptTuningInit.TEXT,    # PromptTuningInit.TEXT 表示用一段文本的嵌入来初始化"虚拟提示词"，比随机初始化效果好。
    prompt_tuning_init_text="下面是一段人与机器人的对话。",    # 对文本分词，对应的词向量（embedding）作为虚拟提示词的初始值。
    num_virtual_tokens=len(tokenizer("下面是一段人与机器人的对话。")["input_ids"]),  # 虚拟提示词的数量，等于初始化文本分词后的长度，这 `num_virtual_tokens` 个虚拟提示词的嵌入向量，就是唯一需要训练的参数！
    tokenizer_name_or_path="D:\\git\\model-download\\bloom-389m-zh"
)

# 通过`get_peft_model`函数将 Prompt Tuning 配置应用到基础模型上，函数会在模型内部添加可学习的 Prompt Encoder，并自动冻结基础模型的其他所有参数。
model = get_peft_model(model, config)
# 查看模型结构的变化，会多出一个 prompt_encoder 部分
print("PEFT 模型结构:", model)
# 检查可训练参数：打印并对比可训练参数的数量和总参数数量。
model.print_trainable_parameters()    #  'trainable parameters' 远小于 'all parameters'。

第五步: 配置训练参数

args = TrainingArguments(
    output_dir="./chatbot_prompt_tuning_explained_zh",  
    per_device_train_batch_size=1,  
    gradient_accumulation_steps=8,    # 梯度累积：相当于有效批次大小为 1 * 8 = 8，对于显存有限的情况有用
    logging_steps=10,              # 每训练 10 步，打印一次日志信息（如loss）
    num_train_epochs=1,            # 训练轮数
    save_steps=100,                # 每训练 100 步，保存一次模型检查点（checkpoint）
    # learning_rate=1e-3,          # Prompt Tuning 通常可以使用比完全微调稍大的学习率
    # gradient_checkpointing=True, # 可以节省显存，稍慢一点，如果显存不足可以开启
)

第六步: 创建训练器

trainer = Trainer(
    model=model,
    args=args,
    tokenizer=tokenizer,
    train_dataset=tokenized_ds, 
    data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),# 数据整理器：负责将数据集中的样本组成一个批次(batch)，并进行必要的填充(padding)
)

第七步: 模型训练

 trainer.train() # 仅优化虚拟token的参数，基础模型的权重冻结。

第八步: 模型推理与效果展示

Prompt-Tuning推理：

1. 1. 推理时，训练好的虚拟token会自动添加到输入序列前；
2. 2. 虚拟token相当于给模型一个隐式提示，引导其生成特定风格或内容的回答；
3. 3. 用户无需看到这些虚拟token，它们只在模型内部起作用。

标准流程：

1. 1. 加载原始的基础模型。
2. 2. 加载训练好的 PEFT 适配器权重。
3. 3. 使用PeftModel.from_pretrained将两者结合起来。

# 1. 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained("D:\\git\\model-download\\bloom-389m-zh")

# 2. 指定 PEFT 适配器权重所在的目录
peft_model_path = "./chatbot_prompt_tuning_explained_zh/checkpoint-3357/"

# 3. 加载 PEFT 适配器并将其应用到基础模型上
peft_model = PeftModel.from_pretrained(model=base_model, model_id=peft_model_path)

if torch.cuda.is_available():
    peft_model = peft_model.cuda()
    print("模型已移动到 GPU。")
else:
    print("未检测到 CUDA，将在 CPU 上运行推理。")

# 准备输入文本
instruction = "考试有哪些技巧？"
input_text = ""
prompt = f"Human: {instruction}\n{input_text}".strip() + "\n\nAssistant: "
print(f"\n用于推理的输入 Prompt:\n{prompt}")

# 将输入文本分词，转换为tensors，然后移动到模型所在的设备 (CPU 或 GPU)
ipt = tokenizer(prompt, return_tensors="pt").to(peft_model.device)

# 使用 `.generate()` 方法生成回答，PEFT 模型会自动处理软提示的注入
print("正在生成回答...")
response_ids = peft_model.generate(**ipt, max_length=128, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)

# 将生成的 token IDs 解码回文本
full_response = tokenizer.decode(response_ids[0], skip_special_tokens=True)    # `skip_special_tokens=True` 会移除像 <|endoftext|> 这样的特殊标记

# 关注 "Assistant: " 后面的内容
assistant_response = full_response.split("Assistant: ")[-1]
print(f"\n模型生成的回复:\n{assistant_response}")