数学毁灭性武器

我小时候，喜欢透过车窗凝视车流，研究车牌号码。我会把每个号码还原成它的基本元素——构成它的质数。45 = 3 x 3 x 5。这叫做因数分解，是我最喜欢的探索性消遣。

我对数学的热爱最终变成了一种激情。14岁时我参加了数学夏令营，回家时紧紧抱住一个魔方。数学为现实世界的混乱提供了一个整洁的避风港。它不断前进，知识领域通过一次次证明无情地扩张。我也可以为此添砖加瓦。我在大学主修数学，并继续攻读博士学位。最终，我成为巴纳德学院的终身教职教授，该学院与哥伦比亚大学共享数学系。

然后我做了一个重大改变。我辞掉了工作，去了D. E. Shaw担任量化分析师，这是一家领先的对冲基金。离开学术界进入金融界，我将数学从抽象理论带入实践。我们对数字进行的操作转化为数万亿美元在不同账户之间流动。起初，我对在这个新的实验室——全球经济中工作感到兴奋和惊讶。但在2008年秋天，在我工作了一年多一点之后，它崩溃了。

这次崩溃清楚地表明，数学曾是我的避风港，现在不仅与世界问题深深纠缠，而且还助长了许多问题。住房危机、主要金融机构的倒闭、失业率的上升——所有这些都得到了挥舞着神奇公式的数学家的帮助和教唆。更重要的是，多亏了我如此热爱的非凡力量，数学与技术结合起来，将混乱和不幸倍增，为我现在认识到的有缺陷的系统增加了效率和规模。

如果头脑清醒，我们都会退一步，弄清楚数学是如何被滥用的，以及我们如何才能在未来防止类似的灾难。但相反，危机过后，新的数学技术比以往任何时候都更热门，并扩展到更多的领域。它们24小时不停地处理数PB的信息，其中大部分是从社交媒体或电子商务网站抓取的。而且，它们越来越关注的不是全球金融市场的动向，而是人类——我们。数学家和统计学家正在研究我们的欲望、行动和消费能力。他们正在预测我们的可信度，并计算我们作为学生、工人、恋人、罪犯的潜力。

这就是大数据经济，它承诺带来惊人的收益。一个电脑程序可以在几秒钟内快速处理数千份简历或贷款申请，并将它们整齐地分类，最有希望的候选人排在最前面。这不仅节省了时间，而且还被宣传为公平和客观。毕竟，它不涉及有偏见的人翻阅堆积如山的纸张，只是机器处理冷冰冰的数字。到2010年左右，数学在人类事务中的作用达到了前所未有的程度。

然而，我看到了问题。驱动数据经济的数学驱动应用程序是基于易犯错误的人类做出的选择。其中一些选择无疑是出于最好的意图。然而，许多这些模型和算法将人类的偏见、误解和偏倚编码到日益管理我们生活的软件系统中。像神一样，这些数学模型是不透明的，除了它们领域中最高层的祭司：数学家和计算机科学家，它们的运作对所有人都不可见。它们的判决，即使是错误的或有害的，也无可争议或上诉。它们倾向于惩罚我们社会中的穷人和受压迫者，同时让富人更富。

我为这些有害模型起了一个名字：数学毁灭性武器，简称WMD。

而且，WMD的人类受害者，我们会一再看到，他们被要求提供比算法本身高得多的证据标准。

欢迎来到大数据的阴暗面。

一个公平的模型 当地银行家曾经在镇上举足轻重。他们掌控着金钱。如果你想要一辆新车或抵押贷款，你就会穿上最好的衣服去拜访。作为你社区的一员，这位银行家可能会知道你生活中的某些细节。他会知道你是否经常去教堂，或者不去。他会知道你哥哥所有与法律冲突的故事。他会知道你的老板（也是他的高尔夫球友）如何评价你这个工人。当然，他会知道你的种族和民族，他还会看一眼你申请表上的数字。

前四个因素常常有意识或无意识地影响银行家的判断。而且他很可能更容易信任他自己圈子里的人。这只是人之常情。但对数百万美国人来说，这意味着数字化之前的现状至少是充满挑战的。局外人，包括少数民族和女性，常常被拒之门外。他们必须建立令人印象深刻的财务组合——然后寻找思想开明的银行家。

这不公平。然后，算法出现了，情况有所改善。在50年代，一位名叫厄尔·艾萨克（Earl Isaac）的数学家和他的工程师朋友比尔·费尔（Bill Fair）设计了一个名为费尔、艾萨克和公司（FICO）的模型，用于评估个人拖欠贷款的风险。这个FICO评分由一个只关注借款人财务状况的公式驱动——主要是他或她的债务负担和账单支付记录。这个评分是“色盲”的。事实证明，这对银行大有裨益，因为它能更准确地预测风险，同时为数百万新客户打开了大门。FICO评分至今仍在沿用。它们被信用机构使用，包括益百利（Experian）、环联（Transunion）和艾奎法克斯（Equifax），每个机构都为FICO模型提供不同的信息来源，以得出自己的评分。

这些评分具有许多值得称赞的、非WMD的属性。首先，它们有一个清晰的反馈循环。信用公司可以看到哪些借款人拖欠了贷款，并将这些数字与他们的评分进行匹配。如果高评分的借款人拖欠贷款的频率似乎高于模型预测，FICO和信用机构可以调整这些模型，使其更准确。这是统计学的合理应用。

信用评分也相对透明。例如，FICO的网站提供了关于如何提高评分的简单说明。（减少债务，按时支付账单，停止申请新信用卡。）同样重要的是，信用评分行业受到监管。如果您对自己的评分有疑问，您有法律权利要求获取信用报告，其中包含构成评分的所有信息，包括您的抵押贷款和水电费支付记录、您的总债务以及您正在使用的可用信用额度百分比。尽管这个过程可能缓慢得令人痛苦，但如果您发现错误，您可以尝试纠正它们。

自费尔和艾萨克开创性的时代以来，评分的使用已大幅普及。今天，统计学家和数学家们将从我们的邮政编码和互联网浏览模式到我们最近的购买等各种数据拼凑在一起，以各种可能的方式对我们进行计算。他们的许多伪科学模型试图预测我们的信用度，给我们每个人一个所谓的电子评分，这些评分基于许多变量，例如我们的职业、房屋估价和消费习惯。

这些我们很少看到的数字，为我们中的一些人打开了大门，却又在另一些人面前砰地一声关上。与它们所模仿的FICO评分不同，电子评分是任意的、不负责任的、不受监管的，而且往往不公平——简而言之，它们是大规模杀伤性武器。

弗吉尼亚州的一家公司提供了一个很好的例子。它为公司提供客户定位服务，包括一项帮助管理呼叫中心流量的服务。这项技术瞬间遍历呼叫者可用的数据，并将他们分层。位于顶部的被认为是更有利可图的潜在客户，并被迅速转接到人工操作员。位于底部的要么等待更长时间，要么被分派到外包的溢流中心，在那里他们主要由机器处理。

信用卡公司在有人访问其网站时，也会进行类似的快速计算。他们通常可以访问网络浏览和购物模式数据，这些数据提供了大量关于潜在客户的见解。很可能，点击新捷豹的人比在Carfax.com上查看2003年金牛座的人更富有。大多数评分系统还会读取访客电脑的位置。当这与房地产数据匹配时，他们可以推断出财富。在旧金山豪华的巴尔博亚露台使用电脑的人比在海湾对面的东奥克兰的人更有潜力。

现在考虑一下电子评分造成的恶性循环。电子评分系统极有可能给东奥克兰贫困地区的借款人打低分。那里拖欠债务的人很多。因此，弹出的信用卡优惠将针对风险较高的群体。这意味着对于那些已经陷入困境的人来说，可用信用额度更少，利率更高。

电子评分只是信用评分的替代品。但由于法律禁止公司将信用评分用于营销目的，他们只能使用这种草率的替代品。这种禁令有其一定的逻辑。毕竟，我们的信用历史包含高度个人化的数据，我们应该有权控制谁可以看到这些数据是合情合理的。但结果是，公司最终会深入到基本上不受监管的数据池中，创建一个平行的数据市场。在此过程中，他们基本上避免了政府监督。然后，他们通过效率、现金流和利润的增长来衡量成功。除了少数例外，诸如正义和透明度之类的概念不适合他们的算法。

我们将其与1950年代的银行家进行比较。这位银行家有意识或无意识地权衡着与他潜在借款人承担抵押贷款的能力几乎或完全无关的各种数据点。他隔着办公桌看到客户的种族，并从中得出结论。客户父亲的犯罪记录可能会对他不利，而定期去教堂可能对他有帮助。

所有这些数据点都是代理变量。在寻找财务责任的过程中，银行家本可以客观地研究这些数字（一些优秀的银行家无疑就是这样做的）。但他却将这些数据与种族、宗教和家庭关系联系起来。这样做，他避免了将借款人视为个体进行审查，而是将他归入一个群体——统计学家今天称之为“桶”。他决定，“像你这样的人”可以或不可以被信任。

Fair和Isaac的巨大进步在于放弃代理，转而采用相关的财务数据，如过去的账单支付行为。他们将分析重点放在个人身上——而不是那些具有相似属性的其他人。相比之下，电子评分让我们回到了过去。它们通过大量的代理变量来分析个人。在几毫秒内，它们执行数千次“像你这样的人”的计算。如果足够多的这些“相似”的人被证明是赖账者，或者更糟，是罪犯，那么这个人就会被相应地对待。

代理变量的问题 偶尔会有人问我如何向数据科学家教授伦理学。我通常会从讨论如何构建电子评分模型开始，并询问他们是否认为在模型中使用“种族”作为输入是合理的。他们不可避免地回答说，这样的问题是不公平的，而且可能是非法的。下一个问题是是否使用“邮政编码”。起初，这似乎很公平。但学生们很快就会发现，他们正在将过去的非正义行为编码到他们的模型中。当他们包含“邮政编码”这样的属性时，他们表达的观点是，该地产的历史人类行为应该至少部分决定居住在那里的人应该获得何种贷款。

换句话说，电子评分的模型构建者必须尽力回答“像你这样的人过去是如何表现的？”这个问题，而理想情况下他们应该问：“你过去是如何表现的？”

我应该指出，在统计学领域，代理变量通常是有效的。物以类聚，人以群分。富人购买游轮和宝马。而穷人常常需要发薪日贷款。由于这些统计模型在大多数时候似乎都能奏效，效率提高了，利润也飙升。投资者加倍投入那些能将成千上万的人分配到看似正确“桶”中的科学系统。这是大数据带来的胜利。

但那些被误解并被错放的人呢？这种情况确实存在。而且没有反馈来纠正系统。一个数据处理引擎无法得知它将一个有价值的潜在客户送入了呼叫中心的地狱。更糟糕的是，在不受监管的电子评分宇宙中，失败者几乎没有申诉的途径，更不用说纠正系统的错误了。在WMD的领域里，他们是附带损害。而且由于整个模糊系统在遥远的服务器农场中运行，他们很少能发现。他们中的大多数人很可能合理地得出结论，生活就是不公平的。

信用是一种美德 在我迄今为止描述的世界中，由数百万代理变量滋养的电子评分存在于阴影中，而我们充满相关和有用数据的信用报告则在法治下运作。但遗憾的是，事情并非那么简单。很多时候，信用报告也充当了代理。

我们社会中的许多机构，从大公司到政府，都在寻找值得信赖和可靠的人，这并不奇怪。因此，在招聘时，一种非常普遍的做法是考虑申请人的信用评分。雇主会问，如果一个人按时支付账单并避免债务，这难道不预示着值得信赖和可靠吗？他们知道，这并不完全相同。但难道没有显著的重叠吗？

这就是信用报告远超其最初领域的原因。信誉度已成为其他美德过于容易的替代品。相反，不良信用已演变为一系列与支付账单无关的罪过和缺点。

对于某些应用，这样的代理可能看似无害。例如，一些在线约会服务根据信用评分匹配用户。其中一家名为CreditScoreDating的公司宣称“良好的信用评分很性感”。我们可能会争论将财务行为与爱情联系起来是否明智。但至少CreditScoreDating的客户知道他们将面临什么以及原因。这取决于他们自己。

但如果你正在找工作，信用卡逾期付款或学生贷款滞纳金很有可能会对你不利。根据人力资源管理协会的一项调查，近一半的美国雇主通过查看求职者的信用报告来筛选潜在员工。有些雇主还会检查现有员工的信用状况，尤其是在他们晋升时。

公司进行这些检查之前，必须首先征得许可。但这通常只是形式上的；在许多公司，拒绝提供信用数据的人甚至不会被考虑录用。如果他们的信用记录不佳，他们很可能会被淘汰。2012年一项关于中低收入家庭信用卡债务的调查清楚地说明了这一点。十分之一的参与者报告说，雇主告知他们，不良信用记录毁掉了他们的机会，有多少人因信用报告被取消资格却蒙在鼓里，这无人知晓。虽然法律规定雇主必须在信用问题导致求职者被取消资格时通知他们，但相信有些雇主只是告诉求职者他们不适合该职位或其他人更合格，这并非夸大其词。

在招聘和晋升中使用信用评分的做法会造成危险的贫困循环。毕竟，如果你因为信用记录而找不到工作，那么你的记录很可能会变得更糟，使得找工作变得更加困难。这与年轻人寻找第一份工作时面临的问题类似——他们因缺乏经验而被取消资格。或者长期失业者的困境，他们发现很少有人会雇用他们，因为他们失业太久了。对于陷入其中的不幸之人来说，这是一个螺旋式下降且令人沮丧的反馈循环。

雇主们自然对这个论点不以为然。

他们认为，良好的信用是负责任的人的特质，是他们希望雇佣的人。但将债务视为道德问题是错误的。每天都有许多勤劳、值得信赖的人因为公司倒闭、削减成本或将工作外包而失业。在经济衰退期间，这些数字还会攀升。许多新失业的人发现自己没有医疗保险。一场事故或疾病就足以让他们错过贷款还款。即使有了《平价医疗法案》，减少了无保险人口的数量，医疗费用仍然是美国破产的最大单一原因。

这并不是说全美国的部门都在故意制造贫困陷阱。他们无疑相信信用报告中包含相关事实，有助于他们做出重要决策。毕竟，“数据越多越好”是信息时代的指导原则。然而，以公平的名义，有些数据应该保持未被处理的状态。