Hacker公开考题拿了高分，换道新题还会吗？
一张排行榜能帮你挑出值得试的模型。要判断它能否解决你手上的问题，还得知道那些分数是怎么来的。
假设你要选一个模型帮忙处理故障报告。榜首模型在公开考试里平均分最高。你真正想知道的是，它读到一份刚写好的报告，能不能从一堆日志里挑出值得查的那一行。中间还差哪一步？
排行榜替你做了哪一轮筛选？
Jeremy Howard 在演讲里打开一张模型排行榜。他看见了平均分最高的模型，也坦言自己还没用过它。榜单给了他一份试用清单。至于哪一个适合自己的工作，他建议拿实际任务去试。
他提到两个会影响判断的因素。一是考题和工作可能要求不同的能力。二是有些公开题可能已经进入训练集。即使这道题和工作很像，一次答对也很难区分模型是解出了新问题，还是认出了熟悉的题目。仅凭一个分数，无法判定具体模型见过哪道题。
these metrics are not particularly well aligned with real life usage回看原片 59:39–1:00:04 →
给熟悉的题目多加一个条件
Sébastien Bubeck 研究早期的 GPT-4 时，也不知道训练材料里到底有什么。他做了一个实验：请模型证明素数有无穷多个，而且证明的每一行都要押韵。数学证明本身很经典，加上押韵，就能分别观察两件事。证明还成立吗？每一行真能读成诗吗？
这比只问「会不会证明」多了一种看答案的方式。即使两项都做到了，要判断它能处理多大范围的新问题，还需要换条件、继续追问。一次有趣的演示能帮你发现值得测的能力，要估计成功率，还得再做一组题。
we don't know what gpt4 was trained on I don't know what gpt4 was trained on回看原片 17:35–17:49 →
两代人的分数差，是人变了还是题变熟了？
跑一英里仍是一英里，煤渣跑道与合成跑道却会给同一项目不同的条件。Epstein 用专家对跑道差异的估计重新计算跨时代成绩。Flynn 看的是另一种条件变化：学校与工作提供了更多练习抽象分类和假设推理的机会。这两个例子都可用于读一张排行榜：先保留原始成绩，再列出测试环境和解题经验可能改变的地方。跑道有可讨论的换算系数，教育经验并不因此也有一个通用校正常数。
对照原文与时间戳
So I consulted biomechanics experts to find out how much slower it is to run on cinders than synthetic tracks, and their consensus that it's one and a half percent slower.回看原片 3:25–3:34 →
So the tenor of education has changed. We are educating people to take the hypothetical seriously, to use abstractions, and to link them logically.回看原片 8:37–8:47 →
高分来自哪一份样本，又漏算了什么工作？
Howard 的演示把鸟与森林的图片分开保留一部分，读者清楚准确率针对的是哪些标签。换成 AI 编程，Denisov-Blanch 指出一个提交可能是功能，也可能是修刚写坏的功能，任务大小和代码库成熟度还会改变结果。再看 Keller 的分支预测例子，旧结构的收益曲线趋平，换结构后却仍有改进余地。用分数决定是否采用一个工具之前，先记下样本、工作单位和比较的实现范围，别把它们各自的边界读成普遍上限。
对照原文与时间戳
put aside some data for testing the accuracy of your model回看原片 45:27–45:32 →
returns the parent folder of a path回看原片 46:09–46:20 →
delivering more commits does not necessarily mean more productivity回看原片 5:07–5:14 →
task complexity, code base maturity, language popularity回看原片 17:37–17:44 →
one of the limits of computer performance is branch prediction回看原片 3:11–3:14 →
drop the one kind of training array and put it in another one回看原片 3:37–3:42 →
从未读取过的记录，有没有价值？
Hopper 用计数器检查哪些记录真的被读过，取代关于频率的猜测。若得到零，合理的第一句是「在这段观察窗口内，这条访问路径没有读过它」。是否值得删除还要知道记录是不是为罕见事故或审计保留，以及其它读取途径有没有记到同一个计数器。这样一次实测就能改变判断，又保留了它的适用范围。
对照原文与时间戳
Every time the record was looked at I added one回看原片 9:00–9:05 →
the data is our raw material回看原片 17:10–17:17 →
“够不够替代”由哪个分母决定？
两地每位女性平均生育的子女数接近时，影片提醒要检查生存到下一代的比例。把某个更替水平当作跨国、跨年代通用的分数，可能掩盖年龄结构与死亡率差异。再把实际生育数和问卷里希望生几个孩子分成两列：后者是意愿读数，不能自动补成前者的原因。
对照原文与时间戳
The replacement fertility rate回看原片 1:10–1:15 →
because of higher mortality rates.回看原片 1:20–1:27 →
说「技术停滞」时，分数究竟算给谁？
当采访者要求用数字区分停滞与活力时，把「技术」拆成几个具体产物会有帮助：完成任务所需时间、能得到服务的人数、用到的能源与维护成本。不同领域可以往相反方向移动。若要得出一个总体判断，先公开取样的领域和权重，再用另一套合理权重复算，看看结论是否稳定。
对照原文与时间戳
what are their numbers for stagnation versus dynamism回看原片 5:46–5:50 →
for technological innovation, economic dynamism.回看原片 22:17–22:22 →
熟悉条件下的高表现，能证明能力迁移吗？
《The Expert Myth》中，Derek Muller 用棋盘记忆实验说明：棋手更容易回忆真实对局中熟悉的棋子配置；棋子随机摆放后，棋艺不再带来同等记忆优势。David Epstein 在《运动员真的越来越快、越来越强吗？》中讨论煤渣跑道与合成跑道的成绩差异，并展示按跑道差异作 1.5% 折算后，达到四分钟内一英里门槛的人数会改变。两者都提醒，评估能力要写清任务与测量条件：熟练者可能在熟悉结构上占优，成绩也会受环境影响。它们并非同一实验：棋盘回忆测量特定领域记忆，跑道折算调整成绩比较的条件。不要把一种任务下的分数直接外推成普遍能力。
对照原文与时间戳
At its core, expertise is recognition.回看原片 16:22–16:24 →
a valid environment, many repetitions, timely feedback, and thousands of hours of deliberate practice.回看原片 16:33–16:40 →
So I consulted biomechanics experts to find out how much slower it is to run on cinders than synthetic tracks, and their consensus that it's one and a half percent slower.回看原片 3:25–3:34 →
So if you apply a one and a half percent slowdown conversion to every man who ran his sub-four mile on a synthetic track, this is what happens.回看原片 3:34–3:43 →
换个语气多答对几道，离实用建议还差哪些检验？
前文把排行榜当作试用清单，而不是工作效果的保证。礼貌提示论文把这个区别缩到一句话里：同样50道选择题，换五组前缀，所测GPT-4o的平均正确率发生变化。可是，先别把结果改写成“粗鲁更有效”。题目和答案由工具生成；语气改写也改变词语与长度。论文自己承认样本小，解释机制仍不清楚。
把它用于自己的工作，下一步应保留原题、答案和改写条件，换一组独立任务再比较，并检查答案键。这样检验的是提示变体能否在你的任务里重复改善结果；并没有检验模型有无被冒犯，更没有证明辱骂是可靠的通用技巧。
对照原文与时间戳
This suggests
that the tone does matter.§ 4 Experimental Results and Analysis · PDF 第 3 页 →
the dataset size
is relatively small§ 6 Limitations · PDF 第 4 页 →
被选成真人的73%，测到的是哪种能力？
前文要求把考题、提示与实际用途分开。图灵测试论文给了另一种分数：评判者同时和真人、机器聊天后，选择哪一位是真人。带特定人设的GPT-4.5在合并结果中有73%的局次被选中；去掉该人设，合并胜率降到36%。这里换掉的不是一道数学题，而是模型在对话中扮演谁、用什么风格说话。
所以，先把结果的动词写准：“在这套五分钟文字比较中更常被当成人”，不能直接改成“推理更可靠”或“已经能替代工作”。作者自己区分拟人性与智力。和Howard的榜单提醒合读，下一步不是寻找一个万能总分，而是列出你真正需要的能力，并设计能把它和风格、人设分开的任务。
对照原文与时间戳
not a direct test of intelligence, but a test of humanlikeness§ 3.3 What does the Turing test measure? · PDF 第 10 页 →
did not robustly pass without the PERSONA prompt§ 3.1 Do Large Language Models Pass the Turing test? · PDF 第 8 页 →
换题之前，先写下什么算答对
回到故障报告。可以选一份刚发生、后来已查明原因的案例，藏起最终结论，让模型指出最值得先查的日志，并说出理由。再改掉一条关键日志，让同事先判断下一步排查方向该不该变，再问一次模型。
这是把两场演讲用到工作里的一个办法。Howard 提醒你选对任务，Bubeck 给了你改变任务条件的思路。如果关键证据变了，模型还照抄上次的判断，你就知道下次该测什么了。