本文转载自微信公众号“小白学统计”，感谢作者授权。

我最近 审稿，一直在思考一个问题：投稿过来的预测建模类文章，里面都说自己的预测模型很好，ROC都能达到0.9以上，为什么真正在医学实际中落地应用的却凤毛麟角？

今天无意间看到一个文章，讲一个概念：Goodhart's Law 陷阱，虽然不是说的医学预测模型，但我觉得在预测模型方面也很有借鉴意义。

Goodhart's Law 最初由英国经济学家查尔斯·古德哈特（Charles Goodhart）提出。其基本内容是：一旦某个指标成为目标时，它就不再是一个好的指标。 

我觉得这个在医学预测模型中很有启发意义，这意味着，当我们确定了要达到某一指标的某一值时，就会不断优化该指标以达成这一目标值，这时候，该指标就会失去作为评价实际表现的准确性。

比如ROC曲线，这几乎是所有预测建模类文章都会提及的一个指标，然而，一旦大家都意识到这一指标的普适性，就会想方设法提高这一指标，甚至说不择手段提高这一指标。这就会导致对指标值的过度追求，事实上，想让ROC曲线下面积高的手段很多。

然而，即便ROC真的达到0.9甚至0.95，这个模型就是好的吗？恐怕未必。这就像统计学中的一句名言“只要你对数据严刑拷打，数据总会给你想要的答案”。

如果我们在预测模型的文章中，一直在追求ROC曲线下面积，一直在追求准确度，就很容易陷入Goodhart's Law 陷阱。那如何避免陷入这一陷阱呢？以下谈一下个人看法，欢迎讨论。