🏠 总目录 📚 资料库智能体评测

设计抗 AI 的技术评估

⏱ 12 分钟 | 🧪 招聘测试怎样随 AI 能力变化保持区分度

🎯 一句话

当模型能直接拿到测试高分,分数就未必能区分候选人的工程技能。评估需随模型、时间预算和工具条件持续复核,并权衡问题的新颖性与岗位真实性。

本页先解决:招聘测试怎样随模型能力变化继续区分技能?

Claude 博客资料库 · 智能体评测

招聘测试怎样随模型能力变化继续区分技能?

沿原时间线看测试为何失去区分度,时间预算和工具条件始终是比较的一部分。

读完可以:用相同模型、时间预算和工具条件复核招聘题的区分度与岗位真实性。

📄 来自 Claude 官方博客
原文标题
Designing AI-Resistant Technical Evaluations(设计抗 AI 的技术评估)
原文链接
https://www.anthropic.com/engineering/AI-resistant-technical-evaluations
作者
Tristan Hume(Anthropic 性能优化团队负责人)
发布日期
2026-01-21
⚠️ 本页是原文的中文结构化整理笔记(保留架构、数据、案例、结论),并非逐字翻译。版本、参数与案例数字属于原文所示条件,不是本资料库的实测结果;产品状态与接口以实施时官方文档为准。
📑 本页目录

随着 AI 能力进步,技术招聘评估的失效速度超出预期。Anthropic 性能工程岗的 take-home 测试三年内被迫迭代三个版本——在模型持续变强的世界里,设计能有效区分人类技能的评估越来越难。

沿原时间线看测试为何失去区分度,时间预算和工具条件始终是比较的一部分。

原版 take-home 的设计

被 AI 连续击穿的过程

否决的方案和 V3 探索显示真实性、新颖性与区分度之间的取舍。

考虑过又否决的方案

  1. 禁止 AI: 无法执行,且与真实工作条件脱节
  2. 提高及格线到「显著超过 Claude Code」: 不现实——人类一半时间花在理解问题上
  3. 接受失效: 评估就失去了意义

V3 的探索

公开挑战和数据服务于方法讨论,不能直接当成当前候选人的能力排序。

公开挑战与数据

原版 take-home 已公开。下表整理了不同预算与版本下的部分记录,不能视为控制条件相同的排名;原文另称其最佳人类提交仍领先。

选手 成绩(周期数,越少越好)
Opus 4(多个小时后) 2,164
Opus 4.5(11.5 小时后) 1,487
Opus 4.5(更长时间+改进) 1,363
旧笔记所列人类记录(待核对) 约 1,548(未在本次可读原文中定位到直接依据)

打破 1,487 周期的候选人可联系 performance-recruiting@anthropic.com。

关键洞察

  1. 时间维度很关键: 该案例中的优势随时间预算、模型、工具与选手不同而变化,不能外推所有人类与模型
  2. 训练数据效应: AI 在有大量既有资料的问题上表现最好
  3. 分布外问题更抗 AI: 新颖问题空间比贴近真实工作的题目更持久
  4. 工具判断力: 需要决定「是否值得投入建调试器/优化基础设施」的测试,能考察纯技术输出之外的人类推理

作者的结语耐人寻味:「真实性可能已是我们负担不起的奢侈品。」这种张力——评估既要代表实际工作又要抗 AI——可能随模型进步变得根本无法调和。


✅ 检查点

  1. 为什么原来的工程招聘测试会逐渐失去区分度?
  2. V3 为什么转向不熟悉的受限指令集谜题?
  3. 这些案例为什么不能证明某种题永远抗 AI?
👀 答案
  1. 模型在限时测试上逐渐达到或超过候选人表现,完全委托模型就可能成为高分策略。分数因此越来越难单独反映候选人的理解与工程判断。
  2. 作者试图减少现成经验和训练资料带来的优势,观察候选人在新问题空间中的推理与工具选择。但越新颖,越可能偏离实际岗位工作,需要检查效度。
  3. 结果依赖模型版本、时间预算、工具和测试规则,随着模型进步会变化。需持续用代表性候选人与模型基线复核;原文案例不是本资料库的招聘效度实测。

本节回顾

先记住这几件事

  • 抗 AI 技术评估关注招聘测试能否区分候选人技能。
  • 新颖问题可能更难被现成能力覆盖,也可能牺牲工作真实性。
  • 记录时间、工具、模型与评分规则,持续复核测试是否仍有效。