当“能力”也变成考试指标:如何避免教育再次被指标异化
——回复法海收费,也是历史教育理论的一次补充
我之前写过一篇文章:
《历史教育应该怎么改?——别把孩子当硬盘,把历史课的这笔账算清楚》
文章的核心观点,是历史教育不应该把大量时间用于单纯记忆历史事实,而应该逐渐从:
事实 → 原因 → 机制 → 反事实 → 未来选择
也就是说,历史教育真正应该培养的,不只是“知道发生过什么”,而是:
面对历史资料,能够理解为什么发生、比较不同解释、判断证据可靠性,并形成自己的判断。
这篇文章发布以后,看到“法海收费”的一段回复,我觉得非常值得继续讨论。
他说到了一个很重要的问题:
古德哈特定律。
当一个指标成为目标以后,人们就会开始针对指标进行优化。
于是,本来想测量“能力”,最后可能测量的却是:
谁更会研究考试。
这实际上击中了教育改革中一个非常隐蔽的问题:
我们不能只是把旧指标换成新指标,然后宣布教育改革完成。
因为新指标同样可能被异化。
一、如果不考记忆,难道就考“因果分析模板”吗?
这是一个非常现实的问题。
假设我们认为:
死记硬背不好。
于是考试改革:
不再考历史年份,而是考历史原因。
学生马上就会研究:
历史原因题怎么答?
然后总结出模板:
政治原因、经济原因、社会原因、思想原因……
如果这样还能拿高分,那么学生真正学会的不是历史思维,而是:
如何在考试中表现得像一个会历史思维的人。
于是教育再次陷入循环:
背事实
↓
背结论
↓
背二级结论
↓
背答题模板
↓
背“因果分析方法”
↓
研究评分标准
最后,教育者越来越聪明,学生也越来越聪明。
但大家的聪明,都用来解决同一个问题:
怎样最大化考试分数?
这就是古德哈特定律真正可怕的地方。
它并不是说:
指标没有意义。
而是说:
一旦指标直接成为目标,指标与原目标之间的关系就可能被破坏。
二、所以真正的改革不是“换一把尺子”,而是改变考试任务
这让我重新思考上一篇文章提出的:
“历史应该考什么?”
如果只是把:
记忆能力
换成:
因果分析能力
还不够。
因为“因果分析能力”也可能被做成考试模板。
真正应该改变的是:
考试所要求学生完成的任务。
比如,历史考试可以给学生一个完整的“历史研究包”。
里面包括:
- 原始史料;
- 不同历史人物的记录;
- 不同学者的解释;
- 时间线;
- 地图;
- 人口、经济、军事等数据;
- 相互矛盾的证据;
- 不同角度的历史观点。
学生可以在规定资料范围内查询。
不要求他提前把这些资料全部背下来。
然后提出一个问题:
为什么这件事情会发生?
这时候,学生面对的就不再是:
“你记不记得标准答案?”
而是:
“面对一组不完全一致的证据,你能不能构建一个解释?”
这是完全不同的能力。
三、允许查资料,并不会降低考试难度
很多人可能第一反应是:
如果考试可以查资料,那还考什么?
其实恰恰相反。
现实中的历史研究,本来就不是靠一个人把所有资料背在脑子里。
真正重要的是:
找资料
→ 判断资料
→ 比较资料
→ 建立解释
→ 检验解释
→ 修正解释
如果考试允许查询,那么记忆的价值下降了,但理解和判断的价值反而上升了。
因为资料就摆在那里。
问题变成:
你会不会用?
这和现实世界非常接近。
一个医生不需要把医学数据库里的所有论文背下来。
一个工程师也不需要把所有技术参数背下来。
一个历史研究者更不可能把所有史料背下来。
真正重要的是:
当问题出现时,你能不能找到需要的信息,并判断它能不能支持你的结论。
所以:
查询能力不是学习的对立面。
在信息极度丰富的时代,它本身就是学习能力的一部分。
四、历史考试甚至可以给学生多个互相竞争的解释
例如考试给出四种解释:
解释A:经济原因是主要因素。
解释B:政治制度是主要因素。
解释C:思想变化是主要因素。
解释D:外部环境是主要因素。
不要问:
“正确答案是哪一个?”
而是问:
请根据资料,对四种解释进行大致排序。
然后要求学生回答:
为什么A比B更可靠?
哪些证据支持A?
哪些证据削弱A?
A能解释哪些现象?
A解释不了哪些现象?
这时候,学生学到的已经不是:
“正确答案是A。”
而是:
“一个解释为什么比另一个解释更可信?”
这是科学思维、历史思维乃至日常决策都需要的能力。
五、甚至可以允许学生提出自己的因果链
比如一个学生认为:
A → B → C → D
那么老师不应该首先问:
“你的答案是不是教材上的标准答案?”
而应该问:
A为什么导致B?
B为什么导致C?
C为什么导致D?
每一步有什么证据?
有没有其他因素也能解释这个结果?
有没有反例?
如果没有A,B是否仍然可能发生?
这就把我们上一篇文章中的:
事实 → 原因 → 机制 → 反事实
真正落实成了一个考试过程。
而且学生完全可能得到一个与教材重点不同的解释。
只要:
证据充分;
因果链通畅;
逻辑自洽;
能够解释更多事实;
能够回应反例;
那么它就应该获得合理的评价。
这比判断:
“你有没有背到标准答案”
高级得多。
六、最有意思的考试题:攻击你自己的解释
我甚至认为,这可以成为历史考试中非常重要的一类题。
学生提出:
“A导致了B。”
下一道题直接问:
请攻击你刚才提出的解释。
也就是说:
什么证据出现以后,你会承认自己的解释可能是错的?
要求学生寻找:
- 反例;
- 第三变量;
- 相反证据;
- 时间顺序问题;
- 替代解释;
- 因果链中的薄弱环节。
这时候,考试真正测量的就不是:
“你能不能证明自己正确?”
而是:
“你有没有能力发现自己可能错误?”
这其实是更高级的能力。
因为真正的科学研究,从来不是:
我要找到所有证明我正确的证据。
而是:
我要知道什么证据能够推翻我的模型。
七、真正的因果思维,不是相信因果,而是不断检验自己的因果
这里还有一个更深的问题。
我们通常会说:
人天生具有因果思维。
但严格说,这句话也需要修正。
人天然会寻找:
“为什么?”
儿童很早就会问:
“为什么下雨?”
“为什么妈妈生气?”
“为什么我做了这个以后,那个就发生了?”
所以:
寻找因果关系是人的自然倾向。
但是:
人并不天然知道什么是真正的因果关系。
我们看到的首先只是:
A发生了。
B也发生了。
或者:
A之后发生了B。
至于:
A到底是不是B的原因?
这需要进一步建立模型、寻找证据、排除其他解释。
所以教育真正要做的,不是到了大学才告诉学生:
“世界上存在因果关系。”
而是从小学开始逐渐提高:
因果模型的精度。
小学可以问:
如果没有A,会不会还有B?
初中可以问:
是A直接导致B,还是A通过C导致B?
高中可以讨论:
A和B同时变化,是因果还是相关?
更高阶段可以进一步讨论:
如果改变A,B会发生多大变化?
也就是反事实和因果贡献。
因此:
教育的任务不是教会因果,而是不断提高因果推理的精度。
八、历史考试还可以直接考“分析一个最新事件”
这可能是最难被模板化的一种考试。
例如:
给学生一篇当天或者近期的新闻,以及一组相关数据。
然后问:
这个事件为什么发生?
学生可以查询规定范围内的资料。
然后:
提出至少两个可能解释。
再:
判断哪一个解释目前证据更充分。
再:
指出你的解释最薄弱的地方。
最后:
如果未来出现什么证据,你会改变自己的判断?
这时候,学生面对的是一个:
没有教材标准答案的问题。
而这恰恰是现实世界最常见的问题。
因为现实世界根本不会告诉你:
“本题考查第三章第二节。”
九、考试可以从“一次定终身”变成“多次观察”
还有一个问题:
为什么一个人的能力一定要通过一次考试决定?
一次考试存在巨大的偶然性。
学生当天的状态、题目的类型、是否恰好熟悉这个领域,都可能影响结果。
如果我们真正想测量的是:
历史分析能力
那么完全可以设计多个不同任务:
历史事件解释
史料比较
因果链构建
反事实分析
观点攻击
新闻分析
陌生问题迁移
形成:
$$ S_1,S_2,S_3,\ldots,S_n $$
然后采用中位数等稳健统计方法进行综合评价:
$$ S=\operatorname{median}(S_1,S_2,\ldots,S_n) $$
这样,一次发挥失常不会决定一个学生的命运。
更重要的是:
学生也没有必要把一次考试当成生死战。
这会从根本上降低应试教育的博弈强度。
十、而且“评分老师”也必须接受评价
这里才真正进入我自己的理论框架。
假设学生写了一条因果链:
A → B → C → D
老师给了70分。
学生可以问:
为什么只有70分?
老师必须回答:
A→B的证据不足。
B→C存在因果跳跃。
C→D缺少反事实支持。
这时候,老师的评分本身就必须是:
可解释的。
甚至可以让不同评价者对同一答案进行匿名评价。
如果不同老师给出的分数分别是:
95、70、55、90、60
那么我们就应该反过来问:
到底是学生的问题,还是评分尺子的问题?
这就是我一直强调的一个元原则:
测量者必须被测量。
不能只有学生接受评价。
老师需要接受评价。
课程需要接受评价。
考试制度也需要接受评价。
甚至:
评分标准本身也需要接受评价。
十一、这也是解决古德哈特定律的另一条路
我们不可能设计出一个:
永远不会被钻空子的考试。
因为只要考试存在,学生就会适应考试。
所以真正成熟的制度不应该幻想:
找到一把完美的尺子。
而应该建立:
尺子不断被检查、比较和更新的机制。
今天发现:
学生开始背因果模板。
那么明年就增加陌生材料。
后来发现:
学生开始背“如何反驳”。
那么就要求学生面对实时变化的新资料。
又发现:
学生开始研究评分规律。
那么就增加多评价者、多任务、随机资料和迁移任务。
于是教育制度不再是:
我找到一个标准,你们所有人永远按照这个标准竞争。
而变成:
我们不断检查这个标准是不是还在测量我们真正想培养的能力。
这才是真正意义上的“反古德哈特设计”。
十二、这和“六把尺子”其实是同一个问题
六把尺子理论一直强调:
尺子不是世界本身。
一个指标只是我们观察世界的一种方式。
因此:
分数 ≠ 能力
工资 ≠ 贡献
价格 ≠ 价值
成绩 ≠ 学习
排名 ≠ 人的价值
一旦把“尺子”当成了“被测量对象本身”,异化就开始发生。
教育也是一样。
本来:
分数是为了帮助我们了解学习。
后来变成:
学习是为了获得分数。
这就是目标倒置。
更进一步:
本来是为了培养因果思维而设计考试。
后来:
学生为了分数而训练“因果思维的考试表现”。
这同样是目标倒置。
所以:
$$ \boxed{\text{指标是目标的代理,而不是目标本身}} $$
而一旦代理成为目标:
$$ \boxed{\text{优化代理,就可能破坏代理与目标之间的关系}} $$
十三、所以历史教育真正需要保护的,不只是“问为什么”
我越来越觉得:
“保护孩子问为什么”还只是第一步。
更重要的是保护孩子:
自己提出为什么。
再进一步:
自己寻找证据。
再进一步:
自己建立解释。
再进一步:
自己寻找解释的漏洞。
最后:
当新的证据出现时,敢于修改自己的解释。
这才是一条完整的认知能力链:
$$ \boxed{ 为什么 \rightarrow 寻找证据 \rightarrow 提出解释 \rightarrow 建立因果链 \rightarrow 反事实检验 \rightarrow 攻击自己的解释 \rightarrow 根据新证据修正 } $$
如果一个学生毕业以后还能够这样思考,那么即使他忘掉了某个历史年份,他也没有真正失去历史教育。
因为:
历史已经从他的记忆,变成了他的思维工具。
十四、“历史像逛街一样学习”并不意味着没有结构
法海收费说:
“让一个学生像逛街一样,自由地在历史长河中探索未知,去问为什么、去构建历史的因果关系一定是最好的。”
我基本赞同。
但我想再补充一句:
真正的自由探索,并不是把学生扔进一片信息海洋。
而是给他足够好的工具。
时间线、地图、史料、数据、不同观点、人物关系、制度变化……
这些东西就像一座巨大的历史实验室。
老师的角色,也就不再只是:
告诉学生答案。
而更像:
帮助学生学会使用实验室。
学生可以自己提出问题。
自己搜索。
自己比较。
自己构建解释。
自己攻击解释。
自己修改解释。
这才是真正的历史教育。
十五、这也重新回答了“为什么很多人说历史要到大学才能真正学”
我认为,这句话其实包含了两个不同问题。
如果说的是:
复杂历史研究需要较高的知识储备、抽象能力和专业训练。
当然有道理。
但是如果说:
儿童不能进行因果思考,只能到了大学才开始问为什么。
我并不赞同。
一个小学生就可以问:
为什么这个人这么做?
一个初中生可以问:
如果当时不这么做,会怎么样?
一个高中生可以问:
有没有其他因素?
到了大学,可以进一步讨论:
如何建立更严谨的反事实模型?
所以不是:
小学没有因果思维 → 大学才有。
而应该是:
同一种因果能力,在不同年龄阶段不断提高精度。
教育不是等待孩子“长到足够大以后才开始思考”。
而应该:
从他已经能够思考的地方开始,不断提高思考的质量。
十六、历史教育最终应该从“知识考试”走向“认知实践”
如果把这套思路再向前推进一步,我认为历史课可以逐渐变成一种非常有趣的实践活动:
给学生一个历史问题。
给他资料。
给他不同观点。
让他查询。
让他提出解释。
让他建立因果链。
让他寻找反例。
让他攻击自己的解释。
让其他同学质疑。
再根据新的证据修改。
最后评价:
你的解释为什么比刚开始更加可靠?
这时候,历史课实际上已经变成了一种:
以历史知识为材料的认知实践。
知识仍然重要。
但知识不再是终点。
知识成为:
进行推理、验证、比较和选择的材料。
十七、这也是教育面对AI以后更重要的方向
过去:
人知道,AI不知道。
所以考试强调:
你记住了多少。
现在:
AI可以迅速找到大量信息。
那么教育如果还主要考:
谁记得更多?
其实是在和机器竞争记忆。
真正应该提高的,是:
谁能提出更好的问题?
谁能判断资料是否可靠?
谁能发现两个解释之间的差异?
谁能找到自己的模型漏洞?
谁能在证据变化以后改变观点?
这些能力,才是真正能够与信息检索区分开的人的能力。
十八、所以我想对“法海收费”的回复,最后落在这里
你提醒我的古德哈特问题非常重要。
教育改革最大的风险之一,确实不是:
我们没有找到新的评价方法。
而是:
我们找到新的评价方法以后,又把它变成了新的应试目标。
所以我现在更愿意把上一篇文章的观点进一步修正成:
历史教育不是从“背历史”变成“背因果分析”。
而应该是:
从记忆已经完成的答案,转向参与一次又一次小型的历史研究。
考试也不应该问:
“你记住了什么?”
甚至不应该只问:
“你会不会因果分析?”
而应该把学生放进一个相对真实的认知环境:
给你资料。
给你不同解释。
允许你查询。
允许你提出自己的解释。
要求你说明证据。
要求你比较解释。
要求你攻击自己的解释。
允许你根据新证据修改答案。
通过多次不同任务观察你的稳定能力。
这样,我们测量的就不再是:
“学生是否掌握了考试套路。”
而更接近:
“这个人面对未知问题时,能不能建立一个暂时可靠、并且愿意被证据修正的世界模型?”
这可能才是历史教育真正应该培养的能力。
最后,再回到“六把尺子”的元原则
六把尺子并不是要求我们找到六个更好的分数。
恰恰相反,它提醒我们:
任何尺子都有可能异化。
因此,一个成熟的制度必须同时观察:
被测量的人;
测量的方法;
测量方法改变以后人的行为;
以及人的行为改变以后,测量方法是否还具有原来的意义。
所以:
$$ \boxed{ 目标 \rightarrow 指标 \rightarrow 行为 \rightarrow 反馈 \rightarrow 重新检验指标 } $$
这才是一个能够自我纠错的评价系统。
而这与“测量者必须被测量”其实是一回事:
如果我们要求学生不断检验自己的因果模型,那么教育制度也必须不断检验自己的评价模型。
教育真正需要防止的,不只是学生不会思考。
还包括:
我们为了测量“思考”,最后却把思考本身变成了一套新的标准答案。
真正好的教育,不是找到一把永远正确的尺子。
而是建立一个:
尺子可以被质疑、被检验、被修正,而人的探索能力不会因此被牺牲的系统。
这也许才是我们真正需要的:
$$ \boxed{\text{不是更聪明的考试,而是更会自我纠错的教育。}} $$