THK-A5 — 评估(下):为什么可靠的评估输出概率而非 yes/no,以及反馈是直觉变可信的唯一路径

评估的终点是要交一个判断出去。问题是:你习惯交的那个判断——「这事会成」「这个方案行」——是一种结构上就无法被校准的输出。原因很简单:现实只发生一次。你说「会成」,结果它没成,你完全可以辩解「我说的是大概率、这次是小概率撞上了」;你说「会成」结果真成了,你也无从知道这是你判得准、还是纯运气。yes/no 的输出里没有刻度,所以事后无论发生什么,都既不能证明你对、也不能证明你错——它把自己锁在了一个永远学不到东西的死循环里。

这就是评估下半的硬约束:要让评估可被改进,它的输出必须携带一个能被现实检验的量。这个量就是概率。「这事约六成把握、主要风险在 X」和「这事会成」表面上说的是同一件事,但前者多了两样致命重要的东西:一个可被频率检验的数字(你所有说「六成」的判断里,该有约六成成真),和一个显式标注的不确定(承认四成会翻、且翻在哪)。没有这个数字,上一讲那套撬棍就是开环的——你问对了问题,却永远收不到「我答得准不准」的回信。

为什么非得是概率、而不是「我挺有把握」这种模糊措辞?根因在于校准(calibration)这个动作本身需要一个能对账的数,而模糊措辞对不了账。

校准的定义是这样一件事:把你说过的所有「70%」的判断收集起来,看其中实际成真的比例是不是约 70%。是,你这个置信度就是可信的;若只成真了 50%,你系统性过度自信;若成真了 90%,你过度保守。注意这个对账只在「70%」是个离散可归类的数时才做得了——你说过一百次「我挺有把握」,没法把它们归到某条频率曲线上去核对,因为「挺有把握」既不是 0.7 也不是 0.9,它拒绝被检验。

把它写成可校准性的条件:对每个置信档位 $p$,记你给出该档的所有判断中事后成真的频率为 $f(p)$,完美校准即

这条等式是评估能否自我改进的分水岭。yes/no 输出根本无法定义 $f(p)$——它只有 $p\in \{0,1\}$ 两档,而现实里没有任何真实判断该给 0 或 1。概率化的全部意义,就是把判断放进一个 $f(p)=p$ 可被检验的坐标系,让「我准不准」从一句无法证伪的感觉,变成一条能画出来、能对账、能逐年纠偏的曲线。这也是为什么 Tetlock 的「超级预测者」研究里,顶尖预测者的共同特征不是更聪明,而是输出更细的概率刻度(他们会说 73% 而非「很可能」)并持续对账——这是有实证支撑的较强论断,非纯理论。

概率化让你能承认「四成会翻」,但翻在哪这四成的内容,正向去想往往想不全——因为你正陷在「我要论证它成」的 motivated reasoning 里(上一讲第二层那个辩护律师)。Pre-mortem 用一个语法上的小手术解掉它:不问「会有什么风险」,而是假设「三年后这个决策已经彻底失败了」,然后倒推「为什么」。

这个倒装为什么有效,根因在可用性(availability)。正向问「会出什么问题」,你的检索器返回的是「可能性」,而可能性是模糊的、容易被乐观情绪压低音量的;一旦把前提改成「它已经失败了」(prospective hindsight,前瞻性后见),检索器要回答的就变成「一件已成事实的事的原因」——大脑找「已发生事件的解释」比找「未发生事件的可能」具体得多、也积极得多,失败的细节会自己浮上来。这不是玄学:Klein 推广 Pre-mortem 时引的实验显示,把「想象会失败」改成「想象已经失败」,能让人多说出约三成的、更具体的失败原因(较强论断,有实验支撑;具体增幅依任务而定)。

它和概率化是配套的:Pre-mortem 把那「四成会翻」拆成一串具体的失败路径,你才有东西去给每条路径估概率、去针对最致命的那条加防护。落到读者本域,这正是 FMEDA / FTA 的精神底层——FS-A1 里 FTA 从「危害已发生」这个顶事件倒推最小割集,本质就是一次结构化的 Pre-mortem:不证明系统安全,而是先假设它已经害死人了,再倒查哪条路径放它过去的。投资里的「安全边际」是同一逻辑落在价格上——买入价相对估值留折扣,保护的不是上行,是对自己评估出错的容错空间。Pre-mortem、FTA、安全边际,三者是同一个「先认输、再倒推」动作在三个域的化身。

概率化给了刻度、Pre-mortem 给了内容,但要让评估内化成一眼看准的可靠直觉,还差最后也是最硬的一环:反馈。这里有一条边界铁律,是 Kahneman 与 Klein 罕见达成共识的强论断(有实证、可放心当地基):直觉能否练成可靠,取决于所在领域有没有「及时且明确」的反馈。

机制是这样:直觉是系统 1 把大量「判断→结果」的配对压缩成的模式识别。下棋、扑克、外科手术,每一手都有清晰快速的回信(将死 / 输筹码 / 出血),系统 1 拿到成千上万条对账数据,确实能把直觉磨到可靠;而股市择时、长期政治预测,反馈又慢又噪——你这次判断的对错要几年后才揭晓,且大量被运气污染,系统 1 拿不到干净的对账数据,所谓「盘感」就只是偏误穿了件经验的外衣、还越穿越自信。所以同样是「老手」,外科老手的直觉能信,宏观择时老手的「直觉」不能信——差别不在人,在领域的反馈结构(这条边界是下一阶 THK-A7 的主题)。

这条铁律推出评估训练的核心动作:主动索取反馈 + 写决策日志。决策日志的格式不可省的就两栏——当时的概率和当时的理由——事后对照结果。它把上面三件事缝成闭环:概率给了可对账的数,Pre-mortem 给了要追踪的失败路径,日志则是那张逼你和现实对账的账本。没有它,再多年的「经验」也只是把偏误练得更熟练。

把这一讲的三件工具串起来,它们不是并列的技巧,是一条闭环流水线:Pre-mortem 生成要警惕的失败路径 → 概率化给每条路径和总判断装上可对账的刻度 → 决策日志 + Brier/校准曲线把刻度和现实对账、回灌修正下一次。任何一环缺了,整条就退回开环:只做 Pre-mortem 不概率化,你认了输却不知输的概率有多大;只概率化不写日志,你给了数却从不对账,数就是随口说的;只写日志不复盘,账本只是一摞没读过的纸。

也要划清边界,免得误用。这套流水线只在有反馈的领域才真能校准直觉;在反馈又慢又噪的领域(宏观、长期政治、择时),它的价值不是「练出准直觉」——那练不出来——而是逼你永远用系统 2 慢走、显式概率化、并向外部寻求校准,不迷信自己的「经验直觉」。换句话说:有反馈的领域,这套工具帮你把直觉练可靠;无反馈的领域,它帮你认清直觉不可靠、从而不去依赖它。两种用法都对,用错领域才出事。

本讲的练法围绕一件事:把每个重要判断变成一条能和现实对账的记录,而不是一句说完就忘的话。

1. 概率替换措辞(给判断装刻度): 强制自己把「会 / 不会 / 应该 / 大概」一律翻译成一个数字(0.6 / 0.85 …)。练的是消灭「挺有把握」这种拒绝被检验的模糊档,逼出可对账的 $p$。
2. 重大决策前 10 分钟 Pre-mortem(装逆向探照灯): 任何要据以行动的决策,出手前假设「三年后它已彻底失败」,写下所有原因,再给每条估个概率,针对最致命的那条加防护。练的是从辩护律师切回验尸官的倒装。
3. 决策日志 · 两栏不可省(建校准回路): 每个重要判断记下当时的概率 + 当时的理由,留个复盘日期。这是整套的账本,没有它前两步全开环。
4. 季度算一次 Brier + 校准对账(读账本): 每季把已揭晓的日志结清,算 $\mathrm{BS}$、并把所有「70%」挑出来看实际成真比例。$\mathrm{BS}>0.25$ 或某档系统性偏高/偏低,就是下一季要修的方向(多半是过度自信)。
5. 先判领域反馈结构,再决定信不信直觉(防误用): 对任何「我有经验、凭直觉就行」的念头,先问一句**「这个领域的反馈及时且明确吗」**——是,直觉可信;否(宏观/择时/长周期),强制切系统 2 慢走 + 概率化,别信盘感。

A 阶到这里,思维的三个内容操作已全部讲透:表征划定解空间、生成把空间填满候选、评估(上 + 本讲)收缩到真正对的那个——而评估的可靠,靠的是输出概率、逆向 Pre-mortem、反馈校准这条闭环流水线。

但还差一个没在台面上、却一直在背后调度的操作:是什么决定你此刻该换表征、该多生成几个候选、还是该停下来评估?是什么在判断「我现在这个评估,到底该信系统 1 的快直觉、还是必须切系统 2 慢走」?这就是第四操作——元认知(Metacognition),四操作的「调度器」。下一讲 THK-A6 专讲它:系统 1/2 为什么最好理解成同一套四操作的快 / 慢两种执行速度,以及「我在哪一步 / 该换了吗 / 信不信当前这个评估」这三个随时自问,如何把零散的操作组装成一次完整、可控的思考。