设计抗 AI 的技术评估
🎯 一句话
当模型能直接拿到测试高分,分数就未必能区分候选人的工程技能。评估需随模型、时间预算和工具条件持续复核,并权衡问题的新颖性与岗位真实性。
本页先解决:招聘测试怎样随模型能力变化继续区分技能?
Claude 博客资料库 · 智能体评测
招聘测试怎样随模型能力变化继续区分技能?
沿原时间线看测试为何失去区分度,时间预算和工具条件始终是比较的一部分。
读完可以:用相同模型、时间预算和工具条件复核招聘题的区分度与岗位真实性。
📄 来自 Claude 官方博客
- 原文标题
- Designing AI-Resistant Technical Evaluations(设计抗 AI 的技术评估)
- 原文链接
- https://www.anthropic.com/engineering/AI-resistant-technical-evaluations
- 作者
- Tristan Hume(Anthropic 性能优化团队负责人)
- 发布日期
- 2026-01-21
⚠️ 本页是原文的中文结构化整理笔记(保留架构、数据、案例、结论),并非逐字翻译。版本、参数与案例数字属于原文所示条件,不是本资料库的实测结果;产品状态与接口以实施时官方文档为准。
随着 AI 能力进步,技术招聘评估的失效速度超出预期。Anthropic 性能工程岗的 take-home 测试三年内被迫迭代三个版本——在模型持续变强的世界里,设计能有效区分人类技能的评估越来越难。
沿原时间线看测试为何失去区分度,时间预算和工具条件始终是比较的一部分。
原版 take-home 的设计
- 4 小时(后改 2 小时)优化一个模拟加速器上的树遍历代码
- 模拟器具备 TPU 式特征:手动管理内存、VLIW(多并行执行单元)、SIMD 向量化、多核分布
- 设计原则:比传统 50 分钟面试更接近真实工程;真实环境、无人观察、不用边做边讲;留出构建调试工具的空间;明确允许使用 AI(反映实际工作方式);高信噪比、不要求窄领域知识、有趣
- 效果:1,000+ 人完成,经此录用的数十位工程师表现优秀
被 AI 连续击穿的过程
- 2025-05: Claude 3.5 Sonnet 已超过 50% 的人类申请者;预发布的 Opus 4 在 4 小时限制内胜过几乎所有候选人 → 推出 V2(更干净的起始代码、更多机器特性、缩短为 2 小时)
- Opus 4.5: 不到 1 小时达到 V2 及格线且继续优化;被告知目标周期数时还能找出非显而易见的变通方案 → 「在我们的 take-home 上,最优策略变成了全权委托给 Claude Code」
否决的方案和 V3 探索显示真实性、新颖性与区分度之间的取舍。
考虑过又否决的方案
- 禁止 AI: 无法执行,且与真实工作条件脱节
- 提高及格线到「显著超过 Claude Code」: 不现实——人类一半时间花在理解问题上
- 接受失效: 评估就失去了意义
V3 的探索
- 尝试一(失败): 基于 TPU 数据转置和 bank 冲突规避设计新题——Opus 4.5 找到未预料的解法;打补丁后它用 "ultrathink" 扩展思考照样解出。教训:这类问题训练数据太多
- 尝试二(有效): 借鉴解谜游戏 Shenzhen I/O 的思路——在严格受限的指令集上对多个独立谜题优化最少指令数。Claude 在这些题上失败了,初步结果与候选人质量相关性良好
- 策略转变:从「模拟真实工作」转向「模拟新颖工作」——评估搬进不熟悉的问题空间
公开挑战和数据服务于方法讨论,不能直接当成当前候选人的能力排序。
公开挑战与数据
原版 take-home 已公开。下表整理了不同预算与版本下的部分记录,不能视为控制条件相同的排名;原文另称其最佳人类提交仍领先。
| 选手 | 成绩(周期数,越少越好) |
|---|---|
| Opus 4(多个小时后) | 2,164 |
| Opus 4.5(11.5 小时后) | 1,487 |
| Opus 4.5(更长时间+改进) | 1,363 |
| 旧笔记所列人类记录(待核对) | 约 1,548(未在本次可读原文中定位到直接依据) |
打破 1,487 周期的候选人可联系 performance-recruiting@anthropic.com。
关键洞察
- 时间维度很关键: 该案例中的优势随时间预算、模型、工具与选手不同而变化,不能外推所有人类与模型
- 训练数据效应: AI 在有大量既有资料的问题上表现最好
- 分布外问题更抗 AI: 新颖问题空间比贴近真实工作的题目更持久
- 工具判断力: 需要决定「是否值得投入建调试器/优化基础设施」的测试,能考察纯技术输出之外的人类推理
作者的结语耐人寻味:「真实性可能已是我们负担不起的奢侈品。」这种张力——评估既要代表实际工作又要抗 AI——可能随模型进步变得根本无法调和。
✅ 检查点
- 为什么原来的工程招聘测试会逐渐失去区分度?
- V3 为什么转向不熟悉的受限指令集谜题?
- 这些案例为什么不能证明某种题永远抗 AI?
👀 答案
- 模型在限时测试上逐渐达到或超过候选人表现,完全委托模型就可能成为高分策略。分数因此越来越难单独反映候选人的理解与工程判断。
- 作者试图减少现成经验和训练资料带来的优势,观察候选人在新问题空间中的推理与工具选择。但越新颖,越可能偏离实际岗位工作,需要检查效度。
- 结果依赖模型版本、时间预算、工具和测试规则,随着模型进步会变化。需持续用代表性候选人与模型基线复核;原文案例不是本资料库的招聘效度实测。
本节回顾
先记住这几件事
- 抗 AI 技术评估关注招聘测试能否区分候选人技能。
- 新颖问题可能更难被现成能力覆盖,也可能牺牲工作真实性。
- 记录时间、工具、模型与评分规则,持续复核测试是否仍有效。