返回「资料来源、摘录与归档」

代理指标失真:Campbell 定律与 Goodhart 类效应文献摘录

更多
Markdown 结构化数据
本文目录 7 个章节

代理指标失真:Campbell 定律与 Goodhart 类效应文献摘录

source · 来源摘录 本文保存本次知识编译实际使用的两份来源提要。内容以转述为主,不替代原文;综合判断见软件质量为什么是反馈系统而不是测试阶段

Donald T. Campbell:Assessing the Impact of Planned Social Change

  • 作者:Donald T. Campbell
  • 原始版本:1976 年 Dartmouth College Occasional Paper;1979 年发表于 Evaluation and Program Planning, 2(1), 67–90
  • 本次核对版本:2011 年授权重印,Journal of MultiDisciplinary Evaluation, 7(15), 3–43
  • 原文:期刊页面与 PDF

研究对象与论证

Campbell 讨论社会改革与公共项目怎样被评估,重点不是反对量化,而是分析评价进入行政决策后会发生什么。他把方法论问题、统计推断问题和评价与社会权力结构的相互作用放在同一框架中,并用教育、犯罪统计等案例说明:指标一旦影响资源、奖惩和合法性,记录者与被评价者就会承受改变数据或行为的压力。

最常被概括为“坎贝尔定律”的判断是:定量社会指标越被用于社会决策,越容易遭受腐化压力,也越可能扭曲它原本要监测的过程。原文同时承认,许多例子是轶事性证据;它没有证明任何指标一经使用就必然失效,也没有主张放弃测量。

能支持与不能支持什么

  • 支持:当指标连接高强度奖惩时,测量系统本身成为因果回路的一部分,不能继续假定数据生成过程不变。
  • 支持:应同时检查记录方式是否被操纵,以及现实过程是否为了指标而改变。
  • 不支持:把所有量化、目标管理或自动化门禁都判定为有害。
  • 不支持:把二手材料中的具体故事自动归给 Campbell。现有坎贝尔定律底座材料所含“术后第 31 天”例子未在这篇原文中核实。

David Manheim 与 Scott Garrabrant:Categorizing Variants of Goodhart's Law

  • 作者:David Manheim、Scott Garrabrant
  • 年份:2018
  • 类型:机制分类论文,arXiv:1803.04585
  • 原文:arXiv 页面与 PDF

四类失效机制

论文把“代理指标被优化后不再可靠”拆成四类,而不是把所有失败都归为同一种作弊:

  1. 回归型 Goodhart:代理与目标存在噪声;选择代理的极端值时,也选择了更多偶然噪声,目标的真实改善小于代理表现。
  2. 极端型 Goodhart:优化把系统推到原有观测范围之外,原先成立的代理—目标关系在分布外失效。
  3. 因果型 Goodhart:代理和目标的相关来自共同原因、错误方向或中介关系;直接干预代理并不会产生目标,甚至会破坏原机制。
  4. 对抗型 Goodhart:会响应规则的主体主动操纵输入、报告或行为,使观察者看到的代理与真实目标分离。

边界

这是一套诊断分类,不是估计各种失效频率的实证研究。同一事件可能同时包含多类机制;分类也不会自动告诉决策者应该取消指标、换指标还是降低激励强度。迁移到软件测试、性能优化和知识网络时,属于机制类比,仍需用具体失败、反例和结果校准。

对知识网络的作用

两份来源共同把“指标不好”改写为可诊断问题:代理与目标如何关联、优化是否离开适用范围、干预方向是否正确、参与者是否会适应规则。它们支持在设计指标时预先记录目标、代理、激励和可能的替代行为;不支持只要换一个更复杂指标就能消除代理问题。