Superforecasting — 预测是可训练的技能(核心论证拆解)

通常人把"预测准"归于天赋、内幕或运气。Tetlock 的主张相反:它是流程 + 反馈练出来的、可量化的技能。证据来自 Good Judgment Project——IARPA 出资的多年预测锦标赛(2011–2015),~500 道可结算的地缘/经济题、超百万条预测、数千志愿者。下图是它的设置与结果。

结果硬核:GJP 胜过对照组约 50–60%(判断类预测文献里最大的提升);IARPA 报告它比其他研究团队准 35–72%,2013 年起成为唯一还被资助的队。最抓人的一条:顶尖志愿者据报道比有机密信息的情报分析员准约 30%(这条是被报道/转述的数字,非同行评审定论,当方向性看)。量化签名:超预测者 Brier ≈ 0.166 vs 普通 ≈ 0.259(Mellers et al. 2015)。结论:普通人靠流程能赢专家——所以个人值得建一套刻意的校准练习,你的分数是可改进的、不是固定的。

要训练就要可测,Brier score 就是那把尺。它是概率预测的均方误差:对二元事件 B = (f − o)²(f = 你给的概率,o = 结果 0 或 1),多次取平均;范围 0–2,0 = 完美,越低越好。给 70% 后真发生记 (0.7−1)²=0.09;永远只会说 0.5(纯无知)记 0.25。

关键是它能分解成两件独立的技能(Murphy 1973 三项分解):calibration(校准 / 可靠度)——你说 70% 的事是不是真有 70% 发生;resolution(区分度 / 锐度)——你能不能把"会发生"和"不会发生"的事拉开。两者必须分开练:你可以校准得很好却毫无用处(永远报 base rate)。超预测者的特征就是两者都强 + 平均不过/不欠自信。对个人:Brier 是你校准练习里唯一要长期追踪的标量,客观、锚定真实结果。

GJP 不只证明"可训练",还刻画了谁练得出来。下图把画像与那个最强的单一预测因子放在一起。

• Fox 非 hedgehog(源自 Isaiah Berlin;Tetlock《Expert Political Judgment》2005):狐狸(知道很多小事、博采、随情境调整、容忍不确定)胜过刺猬(一个大理论、套公式)。著名结论:平均专家评论员≈"掷飞镖的黑猩猩"。启示:做狐狸,综合多个模型,不迷信任何单一宏大理论。
• Active open-mindedness(AOM):把信念当待检验的假设,主动找推翻它的证据(Jonathan Baron 提出;超预测者在其量表上得分高)。这是核心的反偏误纪律:更新前先找"什么能证明我错"。
• Dragonfly eye(蜻蜓眼):像蜻蜓的复眼,把许多分歧视角聚合成一张图。个人版:收集多个独立估计/模型再聚合,而不是押注单一视角。
• Perpetual beta(永远 beta 版):像程序永不"完工"、持续改进。原文(已核):"升入超预测者最强的预测因子是 perpetual beta——对信念更新与自我提升的投入程度;它的预测力约是最接近对手(智力)的三倍。" 这是给个人练习的头号结论:对迭代自我提升的投入,比原始智商重要约 3 倍——成长心态 > 天赋。
• 数字化 + 概率思维:用程度/细分概率思考(60% vs 65%),而非"是/否/也许"三档拨盘。

画像之外,Tetlock 在附录给了 10 诫(超预测者守则),是全书最可操作的清单。下图是它的流程化排布。

精炼版:① Triage——把力气花在"难易适中"的题(跳过太显然和不可知的);② 拆解——Fermi 式把难题切成可估的小块;③ 平衡内外视角——先 outside view(base rate:这类事在这类情境多久发生一次),再用个案细节调;④ 平衡对证据的反应——小步、频繁贝叶斯更新,不过度也不迟钝;⑤ 找相互冲突的因果力(辩证 / 蜻蜓眼);⑥ 尽可能分出多档置信度(但别超出问题允许);⑦ 平衡过度 vs 不足自信;⑧ 做 postmortem——查错误背后的原因,但防后见之明偏误;⑨ 团队:换位、精准提问、建设性对峙;⑩ 把以上当"平衡相反错误的自行车"——靠刻意练习而非读书学会。Tetlock 还眨眼加一条:别把这些诫律当诫律(是指南不是铁律)。其中对个人杠杆最高的两条:外部视角先给 base rate(最省力的准度提升)+ 小步频繁更新(超预测者实测的行为相关项)。

把方法推到底前,必须知道它的天花板,否则会用错地方——这恰是与 Taleb 那场著名争论的核心。

• 时间地平线:GJP 的题多在 18 个月内结算;Tetlock 自己承认(已逐字核):"Taleb、Kahneman 和我都同意,没有证据表明地缘或经济预测者能预测 10 年外的任何事,除了显而易见的('会有冲突')和一堆预测里难免的运气命中。" 准度在约 1 年最高,3–5 年逼近随机。信号集中在约 1 年内。
• 尾部 / 黑天鹅:Taleb 指出锦标赛对重尾事件无能——真正改写历史的危机/疫情/崩盘活在尾部,而二元封闭题(X 会不会在 D 前发生)把概率和暴露/赔付混为一谈;对肥尾两者剧烈背离,"校准得好"完全不告诉你真发生时的量级。
• 诚实结论(不是谁对):两人其实互补(Tetlock 2022《False dichotomy alert》):超预测在低误报成本下最大化命中率(可预测的中段);Taleb 优先在高误报率下也要对系统性风险报警(尾部)。两件不同的活:校准可预测的中段 vs 活过尾部。
• 被检验后站住的反驳:"他们只是运气、会回归均值"这条被测了——超预测者 ~70% 年度留存、跨年相关 ≈ 0.65,连续两年没回归均值。所以画像是真的,残余约 30% 流动。(注:GJP 的 extremizing 聚合算法的增益是否持续有争议,当争议项看,非定论。)
• 预测 ≠ 决策:一个校准的概率只是输入;决策还要价值、赔付、不对称(见 判断决策)。给预测打分(校准),但按暴露下注(凸性)。

这本书最实的用法是把它变成一套个人校准练习——这正是把"技术认知 ≠ 投资 edge"逼成可测量的机制。

一句话给 invest:score the middle, survive the tail——用 Brier 把可预测决策的认知测成 edge(对接 research-invest 的 calibration 账),尾部用稳健性兜,别让漂亮的 Brier 分在真正会击垮你的问题上滋生自信。