Paul Graham Essays

返回

检测偏见的方法

发布于 2020-09-10

原文:https://www.paulgraham.com/bias.html

2015 年 10 月

对很多人来说,这可能会让人感到惊讶,但在某些情况下,即使不了解申请者群体的情况,也可以检测到选择过程中的偏见。这令人兴奋的原因之一是,这意味着第三方可以使用这种技术来检测偏见,无论选择者是否希望他们这样做。

只要满足以下条件,就可以使用这种技术:(a) 至少有一部分被选中的申请者是随机样本,(b) 他们之后的表现有所衡量,(c) 你比较的申请者群体具有大致相等的能力分布。

这种技术是如何运作的呢?想想偏见意味着什么。对于一个选择过程对某种类型的申请者有偏见意味着,他们更难通过。这意味着某种类型的申请者必须比非该类型的申请者更优秀才能被选中。这也意味着通过选择过程的某种类型的申请者会表现优于其他成功的申请者。如果衡量了所有成功申请者的表现,你就会知道他们是否表现优异。

当然,用于衡量表现的测试必须是有效的。特别是它不能被你试图衡量的偏见所使无效。但在一些领域,表现可以被衡量,这样检测偏见就很简单。想知道选择过程是否对某种类型的申请者有偏见吗?检查他们是否表现优于其他人。这不仅仅是检测偏见的一种启发式方法。这就是偏见的含义。

例如,许多人怀疑风险投资公司对女性创始人有偏见。这很容易检测到:在他们的投资组合公司中,有女性创始人的初创公司是否表现优于没有女性创始人的公司?几个月前,一家风险投资公司(几乎可以肯定是无意中)发布了一项显示这种类型偏见的研究。First Round Capital 发现,在其投资组合公司中,有女性创始人的初创公司比没有女性创始人的公司表现优异 63%。

我一开始说这种技术会让很多人感到惊讶,是因为我们很少见到这种类型的分析。我相信对于 First Round 来说,他们进行了这样的分析会感到惊讶。我怀疑那里没有人意识到,通过将样本限制在自己的投资组合中,他们所做的研究不是关于初创公司趋势,而是关于他们在选择公司时的偏见。

我预测将来我们会看到这种技术被更多地使用。进行这类研究所需的信息越来越容易获取。通常组织选择申请者的信息通常是严格保密的,但如今,关于谁被选中的数据通常对任何愿意整合的人都是公开可用的。

注释

[1] 如果选择过程针对不同类型的申请者寻找不同的东西,例如,雇主根据男性的能力而不是女性的外表来雇佣男性,那么这种技术就不起作用。

[2] 正如 Paul Buchheit 所指出的,First Round 在研究中排除了他们最成功的投资 Uber。虽然在某些类型的研究中排除异常值是有道理的,但从初创公司投资回报的研究来看,这些研究正是关于找到异常值的,排除它们并不合适。

感谢 Sam Altman、Jessica Livingston 和 Geoff Ralston 阅读本文草稿。

[阿拉伯语翻译](https://tldrarabiccontents.blogspot.com/2020/01/blog- post_29.html) [瑞典语翻译](http://www.jensbackbom.se/2020/09/10/ett-satt-att- upptacka-bias/)

最后编辑于 2024-04-15