返回「资料来源、摘录与归档」
代理指标失真:Campbell 定律与 Goodhart 类效应文献摘录
本文目录 7 个章节
代理指标失真:Campbell 定律与 Goodhart 类效应文献摘录
source · 来源摘录 本文保存本次知识编译实际使用的两份来源提要。内容以转述为主,不替代原文;综合判断见软件质量为什么是反馈系统而不是测试阶段。
Donald T. Campbell:Assessing the Impact of Planned Social Change
- 作者:Donald T. Campbell
- 原始版本:1976 年 Dartmouth College Occasional Paper;1979 年发表于 Evaluation and Program Planning, 2(1), 67–90
- 本次核对版本:2011 年授权重印,Journal of MultiDisciplinary Evaluation, 7(15), 3–43
- 原文:期刊页面与 PDF
研究对象与论证
Campbell 讨论社会改革与公共项目怎样被评估,重点不是反对量化,而是分析评价进入行政决策后会发生什么。他把方法论问题、统计推断问题和评价与社会权力结构的相互作用放在同一框架中,并用教育、犯罪统计等案例说明:指标一旦影响资源、奖惩和合法性,记录者与被评价者就会承受改变数据或行为的压力。
最常被概括为“坎贝尔定律”的判断是:定量社会指标越被用于社会决策,越容易遭受腐化压力,也越可能扭曲它原本要监测的过程。原文同时承认,许多例子是轶事性证据;它没有证明任何指标一经使用就必然失效,也没有主张放弃测量。
能支持与不能支持什么
- 支持:当指标连接高强度奖惩时,测量系统本身成为因果回路的一部分,不能继续假定数据生成过程不变。
- 支持:应同时检查记录方式是否被操纵,以及现实过程是否为了指标而改变。
- 不支持:把所有量化、目标管理或自动化门禁都判定为有害。
- 不支持:把二手材料中的具体故事自动归给 Campbell。现有坎贝尔定律底座材料所含“术后第 31 天”例子未在这篇原文中核实。
David Manheim 与 Scott Garrabrant:Categorizing Variants of Goodhart's Law
- 作者:David Manheim、Scott Garrabrant
- 年份:2018
- 类型:机制分类论文,arXiv:1803.04585
- 原文:arXiv 页面与 PDF
四类失效机制
论文把“代理指标被优化后不再可靠”拆成四类,而不是把所有失败都归为同一种作弊:
- 回归型 Goodhart:代理与目标存在噪声;选择代理的极端值时,也选择了更多偶然噪声,目标的真实改善小于代理表现。
- 极端型 Goodhart:优化把系统推到原有观测范围之外,原先成立的代理—目标关系在分布外失效。
- 因果型 Goodhart:代理和目标的相关来自共同原因、错误方向或中介关系;直接干预代理并不会产生目标,甚至会破坏原机制。
- 对抗型 Goodhart:会响应规则的主体主动操纵输入、报告或行为,使观察者看到的代理与真实目标分离。
边界
这是一套诊断分类,不是估计各种失效频率的实证研究。同一事件可能同时包含多类机制;分类也不会自动告诉决策者应该取消指标、换指标还是降低激励强度。迁移到软件测试、性能优化和知识网络时,属于机制类比,仍需用具体失败、反例和结果校准。
对知识网络的作用
两份来源共同把“指标不好”改写为可诊断问题:代理与目标如何关联、优化是否离开适用范围、干预方向是否正确、参与者是否会适应规则。它们支持在设计指标时预先记录目标、代理、激励和可能的替代行为;不支持只要换一个更复杂指标就能消除代理问题。