LLM 评估工程师面试：指标、人评和 LLM-as-a-Judge 一追问就分高下

面试官问：“新模型总分高了 4%，可以上线吗？”第一层回答若只是“可以，指标显著提升”，第二层追问会立刻出现：什么数据集、谁打的标签、提升集中在哪些样本、哪类用户反而变差、这个分数最终要决定什么？

评估工程师的价值不是制造好看的总分，而是把产品决策变成可重复、可审计的证据系统。三家供应商文档提供第一方实践，NIST AI RMF 提供风险视角；它们不能替代业务定义，也不是独立比较证明。

先问“这个分数要决定什么”

第一层回答从决策开始：选择模型、批准 Prompt 变更、扩大自动化，还是判断高风险工作流能否上线。决策对应不同错误代价，不能先选流行指标再找用途。

例如客服草稿既要有用，也不能捏造退款政策。若要从内部试用扩大到外部用户，应分别定义任务完成、事实依据、安全、延迟和人工纠正负担。平均质量上升但高风险错误增加，仍不应发布。

第二层追问要回答谁定门槛、依据是什么、失败后做什么。应说明最低质量线、不可接受失败、可权衡指标和回滚条件。

数据集要代表任务，也要暴露失败

OpenAI 与 Anthropic 的评估指南都强调任务相关的成功标准和代表性测试。面试中不要只说“从线上抽一批数据”，而要解释样本如何覆盖常见请求、困难边界、重要用户、不同语言、长短输入、工具失败和已知事故。

第一层描述数据来源与采样规则。第二层说明偏差：日志是否只含成功请求；隐私要求删除哪些字段；高风险样本是否被平均抽样稀释；开发过程是否见过测试集。

数据集要记录版本、来源和纳入原因。稳定回归集负责比较，挑战集暴露边界，近期线上样本捕捉漂移。不能用精选 Demo 证明整体能力，也不能省略基准的数据集和方法。

人评一致性差，不能先怪标注员

人评不是把主观意见装进表格。先定义 rubric：每个维度评什么，不评什么；等级之间怎样区分；遇到信息不足、多个答案都合理或事实无法核验时怎么办。再用正例、反例和边界例训练评审者。

一致性低可能来自任务不可判、rubric 含糊、标签过细、上下文缺失或培训不足。第一层可提出双人独立标注与仲裁；第二层要定位分歧来源，不能把一致性数字当作质量本身。

校准不应只在正式标注前开一次会。可以先让评审者独立判断一组锚点样本，再公开分歧、修改 rubric、补充边界例，然后用未见过的新样本复测。若一致性只在熟悉样本上提高，说明大家可能记住了答案，并未真正共享判断标准。长期项目还应定期插入锚点，检查评审标准是否随时间或团队变化而漂移。

抽检要看具体分歧：是在“合格与优秀”间摇摆，还是在“安全与不安全”上冲突？后者可能说明发布门槛无法执行。AI-Native QA 与 Evals 面试指南 可补充回归与人审基础，评估工程师还要回答标签如何审计和更新。

LLM-as-a-Judge 的偏差怎样被发现

LLM-as-a-Judge 可扩大开放式任务覆盖，却不能当成 ground truth。先用人类仲裁样本比较它在不同任务和失败类型上的一致程度，再决定用于筛选、排序、回归预警还是发布门槛。

第二层追问会碰到位置、长度、文风与供应商偏差，以及对细微事实错误不敏感。可交换答案顺序、隐藏模型身份、控制长度、重复评分，并对高风险分歧保留人工复核。

Judge 的模型、Prompt、rubric 和采样参数应版本化；更换裁判时在固定锚点集重跑，区分分数变化来自被测系统还是测量工具。第一方文档不能证明 Judge 对你的任务天然无偏。

指标组合要对应错误代价和阈值

确定性任务可以用规则检查格式、引用是否存在、工具参数是否合法；开放式任务可以用人评或模型裁判评估相关性、完整性与表达；事实性与安全性则可能需要来源核验、专门分类器或人工升级。方法不同，不代表必须把它们揉成一个总分。

第一层给出分层指标。第二层解释阈值、样本量、是否只优化容易样本，以及关键失败能否被其他维度抵消。

阈值也带有不确定性。样本少时，两个版本的微小差异可能只是波动；总体改善也不代表关键切片可靠。强回答会报告样本量与区间，采用配对比较或重复抽样，并在看结果前写清发布规则，避免事后移动门槛。证据不足时，正确动作可能是扩大样本、限制发布或继续灰度，而不是强行选出赢家。

NIST AI RMF 1.0 是自愿采用的风险管理框架，并且在本文发布时正在修订。面试里可落成一个原则：指标服务决策，决策要有 owner、门槛和处置动作。不要把 NIST 当成某个 LLM Judge、供应商或发布结论的性能认证，也不要假装一个指标适合所有任务。

上线后仍要保留失败样本、切片和回归

离线评估无法覆盖所有真实分布。上线后要观察用户纠正、放弃、升级人工、工具失败、延迟、投诉和回滚等信号，并把高价值失败转成可复现样本。线上指标告诉你哪里出问题，离线回归集帮助确认修复是否稳定。

切片应按产品风险选择语言、任务、输入长度、上下文来源、工具路径和失败严重度。平均分稳定时，高风险切片也可能已退化。

当线上分布改变，人评与 Judge 也可能一起漂移。团队应保留固定锚点、定期人工复核线上样本，并区分“系统真的变差”和“测量标准变了”。只有测量链本身稳定，回归结论才可比较。

安全切片尤其不能被平均值吞掉。AI 安全工程师面试指南 说明了为什么危险工具调用需要单独后果门槛；实时链路还要关注延迟与恢复，因此相邻的 Voice AI 工程师面试指南 会把评估延伸到 endpointing、打断与状态恢复。

把评估方案练成两层可复述回答

准备项目时，第一层讲清产品决策、成功与不可接受失败、数据来源、rubric、人评与自动方法分工、独立切片门槛，以及线上监控与回归。

第二层说明样本为何代表任务、分歧如何仲裁、Judge 对哪些样本不可靠、阈值如何对应风险，以及结果改变了哪个产品决定。若经历偏通用开发，先把一个端到端项目整理成“决策、数据、测量与上线结果”，再深化评估部分。

稳健收口可以是：“我们先决定是否扩大自动化。数据集由稳定回归、风险挑战和近期样本组成；人评 rubric 用边界样本校准，LLM Judge 只做预筛，高风险分歧回到人工。发布要求核心切片不退化，新的线上失败进入版本化回归集，让每次模型或 Prompt 变更都有可比较证据。”

常见问题

LLM-as-a-Judge 能替代人工评估吗？

不能把它当成人类判断或事实真值的替代品。它适合扩大覆盖，但必须经过人类样本校准、偏差检查和持续抽检，高风险决策仍需明确人工责任。

评估工程师面试最常见的弱回答是什么？

先报准确率、胜率或总分，却没有说明产品决策、数据来源、rubric、切片、标注质量、样本量和回归阈值。数字没有这些上下文就很难支持发布。

人评一致性低就应该换标注员吗？

不应先下这个结论。应先检查任务是否可判、rubric 是否清楚、示例是否覆盖边界、标签是否过度细分，以及培训和仲裁是否充分。

为什么上线后还要继续做离线评估？

线上信号能发现真实分布变化，离线回归集则让团队稳定复现失败、比较版本并阻止已知问题重新进入生产。两者承担不同职责。

参考资料

• OpenAI Docs：Evals design guide
• Anthropic Docs：Define success criteria and build evaluations
• Google Cloud：Gen AI evaluation overview
• NIST：AI Risk Management Framework 1.0，发布于 2023-01-26

下一步

• 了解 Interview AiBox 功能全景
• 阅读 核心功能使用指南
• 查看 产品路线图
• 下载 Interview AiBox