讨论在调整以长期社会福利为目标的机器学习所得决策方面的近期成果

作者：Lydia T. Liu、Sarah Dean、Esther Rolf、Max Simchowitz、Moritz Hardt

参与：刘天赐、晓坤

由于机器学习系统容易受到历史数据引入的偏见而导致歧视性行为，人们认为有必要在某些应用场景中用公平性准则约束系统的行为，并期待其能保护弱势群体和带来长期收益。近日，伯克利 AI 研究院发表博客，讨论了静态公平性准则的长期影响，发现结果和人们的期望相差甚远。相关论文已被 ICML 2018 大会接收。

以「最小化预测误差」为目的训练的机器学习系统通常会基于种族、性别等敏感特性（sensitive characteristics），表现出歧视性行为（discriminatory behavior），数据中的历史性偏差可能是其中的一个原因。长久以来，在诸多如贷款、雇用、刑事司法以及广告等应用场景中，机器学习一直被诟病「由于历史原因，潜在地伤害到曾被忽视的、弱势群体」。

本文讨论了研究者们在调整以长期社会福利（long term social welfare）为目标的机器学习所得决策方面的近期成果。通常，机器学习模型产生一个得分（score）来概述关于个体的信息，进而对其作出决策。例如，信用得分（credit score）总结了某人的信用历史和财务行为，来帮助银行评定其信用等级。我们以此贷款场景为例贯穿全文。任何用户群体在信用得分上都有其特定分布，如下图所示。

1. 信用得分和偿还分布

通过定义一个阈值，可以将得分转变为决策。例如，得分高于放贷阈值的人可以获得贷款，而低于放贷阈值的则被拒绝。这种决策规则叫阈值策略（threshold policy）。可以将得分理解为贷款违约的估计概率编码。例如，信用得分为 650 的人中，90% 的人会偿还其贷款。因此，银行可以预估其为信用得分为 650 的用户提供等额贷款的期望收益，同样，可以预测为信用得分高于 650（或任何给定阈值）的全体用户提供贷款的期望收益。

2. 贷款阈值和结果

不考虑其他因素的情况下，银行会试图最大化其总收益。收益取决于收回的偿还贷款额与在贷款违约的损失额之间的比。在上图中，收益损失比为 1：-4，由于相较于收益，损失的成本更高，因此银行会更保守的进行放贷，并提高放贷阈值。我们将高于此阈值以上的总体人数占比称为选择率（selection rate）。

结果曲线

贷款决策不仅影响银行机构，也会影响个人。一次违约行为（贷款人无法偿还贷款）中，不仅是银行损失了收益，贷款人的信用得分也会降低。而成功的贷款履约行为中，银行获得收益，同时贷款人的信用得分提升。在本例中，某用户信用得分变化比为 1（履约）：-2（违约）

在阈值策略中，结果（outcome）被定义为某群体得分的变化期望，可以参数化为选择率的函数，称此函数为结果曲线（outcome curve）。当某群体的选择率发生变化时，其结果也会发生变化。这些总体人数级别上的结果会同时取决于偿还概率（由得分编码得到）、成本以及个体贷款决策的收益。

上图展示了某典型群体的结果曲线。当群体内获得贷款并成功偿还的个体足够多时，其平均信用得分就可能增加。这时，如果其平均得分变化（average score change）为正，则可得到无约束收益最大化结果。偏离收益最大化，以给更多人提供贷款时，平均得分变化会增大到最大值。称其为利他最优（altruistic optimum）。也可以将选择率提升到某个值，使平均得分变化低于无约束收益最大化时的平均得分变化、但依然为正，即图中黄色点状阴影所表示的区域。称此区域中的选择率导致了相对损害（relative harm）。但如果无法偿还贷款的用户过多，则平均得分就会降低（平均得分变化为负），从而进入红色横线阴影区域。

4. 贷款阈值和结果曲线

多群体情况

给定的阈值策略如何影响不同群体中的个体？两个拥有不同信用得分分布（credit score distribution）的群体会拥有不同的结果。

假设第二个群体和第一个群体的信用得分分布不同，同时群体内人数也更少，将其理解为历史弱势群体。将其表示为蓝群体，我们希望保证银行的贷款政策不会不合理地伤害、欺骗到他们。

假设银行可以对每个群体选择不同的阈值，虽然这可能面临法律挑战，但为了预防由于固定阈值决策可能带来的差别结果，基于群体的阈值是无法避免的。

5. 不同群体的贷款决策

很自然的会出现问题：怎样的阈值选择可以在蓝群体的得分分布中得到期望改善。如上文所述，无约束的银行策略会最大化收益，并选取收支平衡、贷款有利可图的点。事实上，收益最大化阈值（信用得分为 580）在两个群体中是相同的。

公平性准则

拥有不同得分分布的群体会有不同形状的得分曲线（原文图 6 上半部分展示了真实信用得分数据和一个简单结果模型的结果曲线）。作为无约束收益最大化的另一个替代选择是公平性约束（fairness constraints）：通过某些目标函数令不同群体的决策平等。目前已经提出了各种公平性准则，诉诸直觉来保护弱势群体。通过结果模型，我们可以正式的回答：公平性约束是否真的鼓励了更多的积极结果。

一个常见的公平性准则，人口统计平等（demographic parity），要求银行在两个群体中给出相同比例的贷款。在此要求下，银行继续尽可能最大化收益。另一个准则，机会平等（equality of opportunity）：两个群体中的真阳性率（true positive rate）相等，要求银行对两个群体中会偿还贷款的个体相同的贷款比例。

虽然从要求静态决策公平的角度出发，这些准则都很合理，但它们大多忽略了这些对群体结果的未来效应。原文图 6 通过对比最大化收益、人口统计平等和机会平等下的策略结果，展示了这一点。看看每个贷款策略下银行收益和信用得分的变化。和最大化收益策略相比，人口统计平等和机会平等都降低了银行收益，但是否获得了相较于最大化收益得到提升的蓝群体结果？虽然相较于利他最优，最大化收益策略对蓝群体贷款过低，但机会平等策略则（相较于利他最优）贷款过多，人口统计平等则贷款过多，并达到了相对损害区域。

6. 有约束条件下的贷款决策模拟

如果公平性准则的目标是「从长期来看，提升或公平化所有群体的幸福」，刚才展示的则表明在某些场景下，公平性准则实际上是违背了这一目的。换言之，公平性约束会进一步降低弱势群体中的现有福利。建立准确模型，以预测策略将对群体结果产生的效应影响，也许可以缓解由于引入公平性约束而产生的意料以外的伤害。

对「公平」机器学习结果的思考

研究者提出了一个基于长期结果的对机器学习「公平性」讨论的视角。如果没有细致的延迟结果模型，就不能来预测公平性准则作为加在分类系统上之后的影响。然而，如果有准确的结果模型，就能以相较于现有公平性准则而言，更直接的方式来优化正例结果。具体而言，结果曲线给出了偏离最大化收益策略，以最直接提升结果的方法。

结果模型是在分类过程中引入领域知识的一个具体方法，并能与许多指出机器学习中的「公平」具有背景敏感特性的研究很好地吻合。结果曲线为此应用特定的权衡过程提供了一个可解释的视觉工具。

更多细节请阅读论文原文，本文将在今年 35 届 ICML 大会上出现。本研究只是对「结果模型可以缓解机器学习算法对社会意料外影响」的初步探索。研究者们相信，未来，随着机器学习算法会影响到更多人的生活，会有更多的研究工作，来保证这些算法的长期公平性。

论文：Delayed Impact of Fair Machine Learning

论文地址：https://arxiv.org/pdf/1803.04383.pdf