AI-Native QA 与 Evals 面试指南：为什么测试岗位重新变重要

AI 产品让 QA 更难了，而不是更简单了。普通功能通常要么对，要么错；AI 功能可能正确但没用、流畅但没依据、安全但太慢，或者偶尔表现很好却不稳定。

所以，懂 evals、回归集、prompt 变更和人审闭环的测试候选人，会越来越值钱。

AI QA 为什么不一样

传统 QA 往往从确定性预期开始。点按钮、提交表单、验证状态。

AI 产品多了一个更难的问题：这个输出对当前用户和当前上下文是否足够有用？

这个问题不能靠一个 golden prompt 回答。它需要风险分类、可重复用例、质量评分标准和监控。

现在面试官会怎么问

常见问题包括：

• 你怎么测试一个 AI answer feature
• 哪些部分必须是确定性的
• 哪些部分需要人判断
• prompt 变更后怎么发现回退
• 模型升级后怎么避免破坏已有工作流

强回答从产品风险开始，而不是从测试工具开始。

四层回答框架

固定回归用例

这些用例在每次 prompt、检索或模型变更后都要跑。它们防止产品悄悄漂移。

对面试助手来说，固定用例可以包括清晰行为题、模糊追问、噪声转写和缺少约束的 coding prompt。

对抗用例

这些用例用来暴露边界行为。转写不完整怎么办？简历上下文和问题冲突怎么办？候选人要求不安全输出怎么办？

好的 QA 候选人知道，只测 happy path 不够。

人工评分标准

有些质量必须由人判断。Rubric 应该定义好答案是什么：相关、有依据、简洁、真实、在时间压力下有用，并且尊重隐私。

Rubric 能让人审不变成随机意见。

生产监控

再强的 evals 也会漏真实行为。要看延迟、fallback 比例、答案放弃率、用户编辑、低置信轮次和 session 后复盘信号。

生产监控告诉你产品是否真的在压力场景下帮到了用户。

一个 Interview AiBox 例子

实时面试辅助对质量要求很硬。答案必须快、有用、有依据、保护隐私。

AI-native QA 计划应该覆盖：

• 转写噪声和漏词
• 当前问题识别
• 简历和知识库 grounding
• 追问压力下的答案有用性
• 截图题面识别
• session 后复盘准确性

这不是点点按钮，而是在保护候选人的真实体验。

常见弱回答

弱候选人会说“我多试几个 prompt”或“让用户看看好不好”。

强候选人会定义会失败什么、用什么证据抓住失败、谁来 review 模糊 case，以及团队如何防止同类失败再次回来。

区别就是生产成熟度。

FAQ

QA 工程师做 AI 产品必须懂机器学习吗？

不一定要训练模型，但需要理解概率型行为、eval 设计、失败模式，以及 prompt 或模型变更如何影响产品质量。

AI QA 面试前应该准备什么？

准备一个回归集例子、一个人工 rubric 例子、一个对抗用例例子，以及一个生产监控例子。

这和普通自动化测试有什么区别？

自动化仍然有用，但 AI QA 还需要质量判断、场景覆盖和产品风险思维。

下一步

• 阅读 AI guardrails and evals interview guide
• 查看 实时辅助最佳实践
• 了解 Interview AiBox 功能全景
• 下载 Interview AiBox