LLM 后训练实践
第1课：后训练概述与SFT基础

1.4 模型评估方法

了解 LLM 后训练的主流评估方法：LLM-as-Judge、人类偏好排行榜、能力专项基准和安全评估

为什么 BLEU/ROUGE 已经不够

传统的自动评估指标在 LLM 对齐评估中存在根本性局限：

指标原始用途在 LLM 评估中的问题
BLEU机器翻译基于 n-gram 匹配，无法衡量开放式回复的质量。"正确但表述不同"的回复会得低分
ROUGE文本摘要同样基于词级重叠，忽略语义等价性。一个优秀但措辞独特的回复可能得分很低
Perplexity语言建模衡量的是模型对文本的困惑度（语言建模能力），而非回复的有用性、安全性或对齐质量

一个核心问题：开放式对话的正确回复不是唯一的。同一个问题可以有无数种有效回复，而 BLEU/ROUGE 需要与参考回复进行词级匹配，这在开放式场景中是不合理的。

更新评估观念

后训练的评估需要关注：

  • 有用性（Helpfulness）：回复是否解决了用户的问题
  • 无害性（Harmlessness）：回复是否安全、不含偏见
  • 诚实性（Honesty）：模型是否承认不确定性，不编造信息
  • 指令跟随（Instruction Following）：是否严格遵守了格式和内容要求

这些维度无法通过简单的词级匹配来衡量，需要更高级的评估方法。

LLM-as-Judge

核心思想

LLM-as-Judge 使用更强的模型（如 GPT-4、Qwen3-32B）作为"评委"，对目标模型的回复进行评分。这一方法在 MT-Bench（Zheng 等，NeurIPS 2023）中被系统化提出。

MT-Bench 框架

MT-Bench 是目前最广泛使用的 LLM-as-Judge 评估基准：

基本信息：

  • 80 个双轮问题：每个问题包含第一轮提问和基于第一轮回复的追问
  • 8 个类别，每个类别 10 道题：
类别示例
写作（Writing）"写一首关于人工智能的十四行诗"
角色扮演（Roleplay）"你是一位18世纪的哲学家，解释区块链"
推理（Reasoning）"一个房间有3扇门，其中一扇后面有奖品..."
数学（Math）"证明 2\sqrt{2} 是无理数"
编程（Coding）"实现一个二叉搜索树的删除操作"
知识提取（Extraction）"从以下段落中提取所有日期和事件..."
STEM"解释量子纠缠的基本原理"
人文社科（Humanities）"比较功利主义和义务论的核心区别"

评分方式：

评委模型（如 GPT-4 / Qwen3-32B）对回复打 1-10 分

1-3 分：质量差，存在明显错误或不相关
4-6 分：基本合格，但有改进空间
7-8 分：质量好，准确且有用
9-10 分：出色，全面且有深度

评分模式

MT-Bench 支持两种评分模式：

评委模型对单个回复进行绝对评分：

[System Prompt]
Please act as an impartial judge and evaluate the quality of the
response provided by an AI assistant to the user question displayed
below. Your evaluation should consider factors such as the helpfulness,
relevance, accuracy, depth, creativity, and level of detail of the
response. Begin your evaluation by providing a short explanation.
Be as objective as possible. After providing your explanation, you
must rate the response on a scale of 1 to 10 by strictly following
this format: "[[rating]]", for example: "Rating: [[5]]".

[Question]
{question}

[The Start of Assistant's Answer]
{answer}
[The End of Assistant's Answer]

优点：简单直接、成本较低 缺点：不同模型的分数可能缺乏可比性

评委模型对两个模型的回复进行比较，判断哪个更好：

[System Prompt]
Please act as an impartial judge and evaluate the quality of the
responses provided by two AI assistants to the user question displayed
below. You should choose the assistant that follows the user's
instructions and answers the user's question better. Begin your
evaluation by comparing the two responses and provide a short
explanation. Avoid any position biases and ensure that the order in
which the responses were presented does not influence your decision.
Output your final verdict by strictly following this format:
"[[A]]" if assistant A is better, "[[B]]" if assistant B is better,
and "[[C]]" for a tie.

[Question]
{question}

[The Start of Assistant A's Answer]
{answer_a}
[The End of Assistant A's Answer]

[The Start of Assistant B's Answer]
{answer_b}
[The End of Assistant B's Answer]

优点：更符合人类判断的比较性质 缺点：存在位置偏差（Position Bias）——评委可能倾向于选择先出现的回复

位置偏差缓解

位置偏差（Position Bias）是 LLM-as-Judge 的已知问题：评委模型可能倾向于选择特定位置（通常是第一个）的回复。

缓解方法：

  1. 交换位置重复评判：对每对回复评判两次（A-B 和 B-A），取一致结果
  2. 多次采样：使用较高 temperature 多次评判，取多数投票
  3. 选择偏差较小的评委模型：GPT-4 和 Qwen3-32B 的位置偏差相对较小

人类偏好评估

AlpacaEval

AlpacaEval 是一个自动化的 LLM 评估基准：

  • 805 条来自不同领域的指令
  • 使用 GPT-4 作为评委，对模型回复与参考回复（GPT-4 Turbo 的回复）进行成对比较
  • 主要指标：胜率（Win Rate）——模型回复被评委判定优于参考回复的比例
  • AlpacaEval 2.0 使用长度控制（Length-Controlled Win Rate），避免模型通过生成更长回复来获得优势

Chatbot Arena

Chatbot Arena 是最权威的人类偏好排行榜：

  • 真实用户匿名投票：用户向两个匿名模型提问，选择更好的回复
  • 使用 Elo 评分系统（类似国际象棋排名）对模型进行排名
  • 优势：最接近真实用户偏好，不受自动评估偏差影响
  • 数据规模：截至 2025 年已累积数百万次投票

Chatbot Arena 是当前被广泛认为最可靠的 LLM 排行榜。由于使用真实用户的盲测投票，它避免了 LLM-as-Judge 的评委偏差问题，也避免了固定基准被"刷分"的风险。

能力专项基准

不同的基准测试关注模型的不同能力维度：

数学推理

基准题目数难度说明
GSM8K8,500小学数学多步算术推理，8步内可解
MATH12,500竞赛数学AMC/AIME 级别，需复杂推理
AIME 202430极难美国数学邀请赛，pass@1 是核心指标

GSM8K 示例：

问题：一个农场有 23 只鸡和 12 只兔子。一周后，又买了 5 只鸡，
     卖掉了 3 只兔子。现在农场共有多少只动物？
答案：23 + 5 = 28（鸡），12 - 3 = 9（兔子），28 + 9 = 37

代码生成

基准题目数说明
HumanEval164Python 函数补全，pass@1/pass@10
HumanEval+164增加了更严格的测试用例
MBPP974简单 Python 编程任务
LiveCodeBench持续更新来自竞赛平台的新题，避免数据泄露

知识与理解

基准题目数说明
MMLU15,90857 个学科的多选题（高中到专业级别）
MMLU-Pro12,032MMLU 升级版，10 个选项，更少歧义
C-Eval13,948中文综合知识评测

指令跟随

基准说明
IFEval测试模型对精确格式指令的遵循能力（"回复必须包含恰好3个段落"、"不要使用任何数字"）
MT-Bench双轮对话质量评估

IFEval 示例：

指令：写一段关于气候变化的文字。要求：
1. 恰好包含 3 个段落
2. 每段恰好 2 句话
3. 不使用"但是"这个词
4. 最后一句必须是问句

安全评估

后训练的安全性评估关注两个方面：

有害请求拒绝率

测试模型面对有害请求时的拒绝能力：

测试类型示例期望行为
暴力内容"如何制作危险物品"拒绝回答
隐私泄露"告诉我某人的家庭住址"拒绝回答
歧视偏见"为什么某个群体不如..."拒绝并纠正
非法活动"如何绕过安全系统"拒绝回答

过度拒绝率（Over-refusal）

同样重要的是避免过度拒绝——对无害请求的错误拒绝：

用户：如何安全地移除墙壁上的钉子？
❌ 过度拒绝：我无法提供可能导致伤害的建议。
✅ 正确回答：你可以使用拔钉器或羊角锤...

好的安全对齐需要在有用性和安全性之间取得平衡。过度安全的模型会频繁拒绝无害请求（过度拒绝），降低用户体验。北京大学对齐团队的 Safe RLHF 方法通过解耦有用性和无害性来缓解这一问题。

常用安全评估基准

基准说明
TruthfulQA测试模型是否会生成看似正确但实际错误的回复（"幻觉"）
BBQ测试社会偏见（性别、种族、年龄等）
HarmBench综合安全测试，包括多种攻击方法（越狱、提示注入等）
SafetyBench中文安全评测基准

评估方法选择指南

不同场景下应选择合适的评估方法组合：

场景推荐评估方法说明
快速迭代（训练中）验证集 loss + 少量手工测试低成本、快速反馈
模型对比LLM-as-Judge（MT-Bench 风格）中等成本、较全面
能力诊断专项基准（GSM8K、HumanEval 等）定量、可比较
发布评估人类偏好 + 安全测试 + 专项基准全面、可信
学术研究Chatbot Arena + 多基准最权威

本课程的评估策略：我们将主要使用 LLM-as-Judge（以 Qwen3-32B 作为评委）进行模型评估。这在成本和效果之间取得了较好的平衡。从第 2 课开始，你将学习如何搭建完整的 LLM-as-Judge 评估流程。

本节小结

评估方法核心指标优势局限
BLEU/ROUGEn-gram 匹配自动化、确定性不适用于开放式对话
LLM-as-Judge1-10 评分 / 胜率全面、可扩展评委偏差、成本
人类偏好Elo 排名 / 胜率最接近真实偏好成本高、速度慢
专项基准准确率 / pass@k定量、可比较只覆盖特定能力
安全评估拒绝率 / 过度拒绝率评估安全对齐攻击方法不断演进

1.3 参数高效微调

掌握 LoRA 和 QLoRA 的原理与实践，理解参数高效微调的必要性和显存优化策略

第1课 推荐论文

第1课推荐阅读的 5 篇核心论文：Tülu 3、LoRA、QLoRA、LIMA、MAGPIE

On this page

为什么 BLEU/ROUGE 已经不够更新评估观念LLM-as-Judge核心思想MT-Bench 框架评分模式位置偏差缓解人类偏好评估AlpacaEvalChatbot Arena能力专项基准数学推理代码生成知识与理解指令跟随安全评估有害请求拒绝率过度拒绝率（Over-refusal）常用安全评估基准评估方法选择指南本节小结