“老大哥”正在监视你

纽约刚过午夜，警察追捕并逮捕了

一名涉嫌仇恨犯罪的嫌疑人。一名同性恋男子被银色左轮手枪射杀。嫌疑人一度很配合。他交出了枪套里的银色左轮手枪。他还交出了身份证。

然后他就闭口不言了。当他们把他带到警局备案时，身份证被发现是假的。他不肯说出自己的真名。他们也无法采集他的指纹。

此时，刚过早上7点。警官们给埃德温·科埃略打电话，他是纽约市警察局人脸识别部门自2011年末成立以来的负责人。那天是星期六，科埃略还在家里穿着浴袍，但他用笔记本电脑调出了身份证的扫描件，开始工作。

一个穿着浴袍破案的人听起来像警匪剧里的情节。在电视上，警察将技术作为一种神奇的侦探辅助工具，按需提供重要线索。在办公室里，在正常的一天，观察实际的侦探在实际案件中使用实际技术，呈现出更复杂的画面。“这与《谍影重重3》相去甚远，”科埃略说。

在南曼哈顿一座野兽派风格的独石建筑——警察广场一号的九楼，该部门的办公室里，一排排55英寸的LED显示器挂在墙上，像一个不断变化的案件艺术画廊。但大部分工作都在房间中央的侦探隔间里进行。

每个隔间都有三台显示器。一名侦探用鼠标将屏幕上的脸部旋转到与嫌犯照片相同的正面角度。这张照片是从带有鱼眼镜头的监控摄像头拍摄的，因此失真。她会先用这种方式与逮捕数据库进行比对，但如果没有匹配项，她会开始调整鱼眼比例，使人脸恢复正常比例，希望能找到身份线索。另一名侦探从犯罪现场的手机视频中截取一帧画面。他也会将其导入嫌犯照片数据库进行比对。一个屏幕显示着一张脸的三维线框图；那名侦探正在根据侧面视图构建完整的脸部图像。

人脸中有什么？

在大多数人脸识别技术中，人脸根本不像人脸。相反，一串数字代表着发际线、眉毛、鼻子结构、下颌线、耳朵、疤痕或痣，以及头部的俯仰、偏航和滚动（头部角度、下巴是向上还是向下，以及脸部偏离中心的距离）。纽约市警察局的软件总共考虑了二十多种因素。算法（计算机解决问题的“配方”）使用这些数字来尝试确定这张脸属于谁。一个简单的表情变化就能以对算法造成实际问题的方式改变这些数字。

准备一张照片以与数据库进行比较可能需要数小时甚至数天。但在那个在家工作的周六上午，科埃略有一张在弱光下拍摄的正面、表情中性的照片。“我必须对其进行增强，因为图像有点模糊，”他说。

几分钟后，科埃略问调查员：“你能不能看一下他，告诉我：他脸上有没有疤痕或标记？”身份证上的脸上没有标记，但数据库提供的几百张匹配脸中有一张有疤痕。调查员说嫌疑人有疤痕。科埃略告诉侦探们，可能的匹配对象是埃利奥特·莫拉莱斯，他曾被捕六次，其中一次是涉嫌谋杀未遂。这项工作大约花了一个小时，科埃略又回去和孩子们一起度过了一个周六。

越来越多地，我们看到人脸识别技术作为打击犯罪的一部分出现，因为警察部门听说了纽约的成功案例。在纽约之外，例如佛罗里达州的皮内拉斯县，该软件已使用了14年，它在例行交通检查中帮助抓捕了有未执行逮捕令的罪犯。

纽约市警察局已在8,000多起案件中使用人脸识别技术，并在其逮捕数据库中发现了2,000个可能的匹配项。其中，超过1,000个导致了逮捕。2012年一个引人注目的案件涉及一家理发店的枪击案，一名男子用霰弹枪射击了一位正在理发的朋友。受害者和其他证人只知道该男子叫“阿玛尼”，但其中一人在他的Facebook页面上有阿玛尼的照片。警方利用这张照片在他们的数据库中寻找匹配项，找到一个并实施了逮捕。

人脸识别软件在机动车登记处也变得普遍，超过三十个州使用该技术来查找伪造的驾驶执照并在调查中识别人员。

在联邦层面，国务院下属的外交安全局在2014年使用新安装的人脸识别系统找到了尼尔·斯塔默。斯塔默在2000年因包括与未成年男性发生性关系在内的指控弃保潜逃。该机构通过将其与最新的FBI通缉海报进行比对来测试系统；偶然的是，斯塔默的证件照出现在其中一张海报上。他一直以假名在尼泊尔生活，并通过定期更新旅游签证留下了踪迹。

2014年9月，联邦调查局公布了“下一代身份识别”系统，该数据库预计将包含5200万条记录，通过合并来自美国及海外的多个刑事和民事照片及指纹数据库创建，所有这些都是为了打击犯罪和恐怖主义。

老大哥及其兄弟姐妹

所有这些政府手中掌握的人脸识别技术，不可避免地引发了关于“老大哥”式权力的质疑。只不过它可能比奥威尔想象的更加无孔不入。在大城市里，到处都是监控摄像头。“风险在于政府可以追踪人们从一个地方到另一个地方的行踪，”电子前沿基金会的高级律师詹妮弗·林奇说。据公民自由倡导者从公开法律记录中判断，这种情况尚未发生，但她说，目前没有具体的规则或法规来禁止这种行为。

“老大哥”可能还有“兄弟姐妹”。零售商已经在使用人脸识别系统来锁定那些不止一次光顾商店或连锁店的扒手。这类似于赌场使用该技术识别已知的算牌者，然后保安可以将他们带走。一些酒吧使用一款手机应用程序（在开发商倒闭之前），当人们进入时会扫描他们的脸部。这款应用程序会识别酒吧顾客的性别、相对年龄，并将比例报告给决定晚上去哪里的应用程序用户。

纽约市警察局反复且不带讽刺地将对公民自由的关注，作为其仅使用逮捕数据库中的嫌犯照片来查找嫌疑人的原因。但一些执法机构也链接到其州内的驾驶执照数据库，而联邦调查局的新数据库也对州和地方执法机构开放。

目前还没有出现使用人脸识别系统导致错误识别或误报的突出案例。但请给它时间；指纹识别仍然存在问题，它比人脸识别（有时被称为“面部指纹识别”）更古老，通常也更准确。2004年马德里火车爆炸案后，联邦调查局通过一个后来被证明不准确的指纹匹配，将美国律师布兰登·梅菲尔德与爆炸案联系起来。他在监狱里度过了两周，后来赢得了200万美元的法庭和解金和联邦调查局的正式道歉。

科埃略强调，纽约警方不会将人脸识别的匹配结果作为逮捕某人的确凿证据。“这只是给侦探们提供一个线索，”他说。“我们指引他们正确的方向。”从事人脸识别工作的人都是侦探，他们除了照片之外还会进行实地调查，对可能的嫌疑人背景进行详细搜查，比如他们的住址，以协助调查。“没有人会跑四个城镇去抢劫一家酒铺，”科埃略说。

然而，即使有明确的匹配结果，人脸识别团队也表示该人仅是可能的嫌疑人。该部门表示，通过该技术错误识别的只有五次，最近一次发生在2012年3月。

“这只是一种工具。它不是DNA，也不是指纹，”纽约市实时犯罪中心（包括人脸识别部门）前指挥官斯蒂芬·卡帕索说。不过，“我认为我们对人脸识别的使用将会增加。”

我们大多数人以完全守法的方式接触人脸识别，例如Facebook上的照片标签和Google相册等照片应用程序，其中软件算法解析我们的照片并为其中的人物建议姓名。Facebook于2010年末推出了其照片标记工具，它已成为许多用户的常规功能。这无疑是人脸识别的首次大规模消费者使用。这可能不会是最后一次。

我们何以至此

例如，旅行者可能会在机场遇到人脸识别算法。2013年底，在澳大利亚，P.乔纳森·菲利普斯通过SmartGate——一个在澳大利亚八个主要国际机场使用的自动化边境控制系统，以加快包括美国在内的八个国家的旅客的海关办理速度。

菲利普斯将护照放入自助服务机，然后看着摄像头，摄像头自动将他的脸与护照上的图像匹配。他五分钟就通过了SmartGate。他知道这个系统，但仍然“我看到的时候惊呆了！”他说。“我从事人脸识别领域23年了。我们最初使用的是‘你能识别吗？’的算法。当你到了某个地方，它真的发生了……”

菲利普斯可以说是人脸识别领域最具影响力的科学家。他于1993年开始工作，为陆军研究实验室启动了FERET（人脸识别技术）项目，这是第一个此类项目。当时，他们正在用一个大约1200张人脸的数据库测试算法，这些脸大部分来自乔治梅森大学的大学生志愿者。他现在是美国国家标准与技术研究院的电子工程师，并负责管理NIST的人脸识别挑战赛。

他刚开始时，验证护照照片是一个难题。现在，许多人脸识别算法在光线良好、人脸正对前方的情况下，比人类更能识别一个人。

当然，人脸识别算法并不会“看见”任何东西。人脸及其特征被分解成一串串数字，代表着单个像素、它们的颜色以及它们在数学上对应人脸的位置。算法必须首先找到一张脸，然后找到眼睛和人类大脑能瞬间识别出的其他特征。早期的一种技术是线性代数表示法，称为特征向量，它允许研究人员比较相似物体，只要它们精确对齐。想想驾驶执照和护照照片，或者嫌犯照片，这些照片都显示一张脸正对前方。研究人员利用这些技术创建了特征脸，这些脸在人类看来像鬼魂，但它们为算法提供了一个参考人脸表示，以便与新的人脸进行比较。

人脸相对容易分析，这有助于这项技术。眼睛和嘴巴的位置始终一致，脸型变化不大——你永远找不到一张方形、星形或六边形的脸。到20世纪90年代中期，人脸识别成为一项热门技术，几家初创公司应运而生，将其商业化。

“那段日子简直是太有趣了，一项新技术萌芽的最初阶段，”MorphoTrust高级研究与技术总监布莱恩·马丁说，MorphoTrust是政府和执法部门人脸识别软件的主要供应商。1998年，他获得了匹兹堡大学凝聚态物理学博士学位。一年前，他开始在早期的人脸识别初创公司Visionics工作。它的第一个产品是什么？一个使用你的脸作为电脑密码的生物识别屏幕保护程序。马丁说它有两个主要卖点：你不需要记住密码，它还会拍下任何试图入侵你电脑的人的照片。但当时低分辨率的摄像头意味着这项技术特别容易出现图像质量问题。

马丁说，当研究人员开始使用所谓的局部特征时，准确性得到了提高，即算法不仅使用整张脸，还使用脸部的局部，例如眉毛的形状和鼻子的宽度。这使得软件更不容易因表情变化而出现问题。大约在2005年，研究人员开始将机器学习技术应用于他们的算法，以训练它们学习如何更准确地匹配特征集。

今天，主要的推动力在于“深度学习”——构建受大脑神经网络启发的人工智能算法。我们的神经元通过数万亿个突触相互连接，这些突触就像计算机网络上的节点。这些连接形成独立的连接，受到每个神经元与另一个神经元通信次数的影响。神经网络也由通过接触而调整的连接组成，实际上是从发展中的模式中学习。在人脸识别中，这些模式是在“看过”成千上万张照片后出现的。当一张脸具有足够的特征以至于可能与不同光照或不同表情下的脸是同一张脸时，算法会通过数学方式识别出来。神经网络理论与20世纪90年代相比并没有太大不同，但本世纪廉价计算能力和数据可用性的爆炸式增长让研究人员充分利用了这些理论。

一旦训练好算法，研究人员通常会用公开可用的基准对其进行测试。最受欢迎的是由马萨诸塞大学阿默斯特分校的计算机科学家埃里克·利尔恩-米勒及其同事收集的图像数据库。2003年，利尔恩-米勒是加州大学伯克利分校的博士后研究员，他正在使用由大卫·福赛斯、塔玛拉·伯格等人开发的名为“野外人脸”的数据库。他们从基于网络的**网站（“野外”）中提取了数万张不同的人脸，以训练他们正在开发的人脸识别算法。

目标是训练算法自动标记照片中的人物。2004年发表了一篇关于该算法的论文后，利尔恩-米勒开始收到人脸识别研究人员的请求，他们希望获取该数据库用于自己的工作。2007年，他和一位同事清理了数据库，去除了重复和错误标注的照片，并将其发布为“野外标记人脸”，其中包含5,749人的13,233张不同照片。时机非常完美——人脸识别算法在受控环境（如护照照片）中识别脸部已经非常出色。研究人员想要更具挑战性的东西，而这个数据库恰好符合要求。

自那时以来，它已被引用在1100多篇论文中。在过去的八年里，超过60个研究小组将他们的算法结果提交给利尔恩-米勒，以便在“标记人脸”网站上发布。Facebook的DeepFace算法在去年曾短暂地表现最佳，但随后被中国公司旷视科技（Megvii）超越，其Face++算法达到了99.5%的准确率。

展望未来

这些数字表明，“野外标记人脸”已被驯服。利尔恩-米勒表示，人脸识别研究人员是时候转向新问题了。这样的问题还有很多。计算机在光照条件不理想或分析人脸角度超过40度时，识别脸部会很困难。

根据菲利普斯的说法，日常“傻瓜相机”照片的失败率高达十分之二，而证件照的失败率则为千分之一。NIST目前的人脸识别项目，代号为“傻瓜相机人脸识别挑战”（PaSC），包含9,376张静态图像和2,802个视频的数据集。“野外标记人脸”使用专业摄影师拍摄的名人照片。而于2013年10月启动的PaSC，则侧重于世界上其他照片：那些用手机或简单数码相机拍摄的照片。这些照片可能拍摄不佳且模糊。

人脸识别的核心是一个人工智能挑战，尽管这个挑战正在变得越来越小。菲利普斯说，了解人类在这些条件下如何识别脸部将有助于开发算法。大多数算法都专注于脸部中心，人类在那里使用许多不同的线索来判断一个人，比如他们的发型。我们更擅长——与某人共度一个上午后，我们大多数人都能在大多数光照条件和大多数角度下始终如一地识别那个人的脸。这些算法需要密集的训练，即利用计算速度和模式匹配的深度学习。

一些研究人员，像利尔恩-米勒，尝试了非常不同的方法。当我参观他在马萨诸塞大学阿默斯特分校的实验室时，他目前使用的工具竟然是一个老式的世界地球仪。这个地球仪并非稀奇古怪，而是工作的一部分——它代表了一个人头。他正在研究一种能够识别地球仪旋转和位置的算法。这可能有助于提高算法识别头部姿态的能力，例如：是正面还是侧面？他的方法被称为无监督学习。（向算法输入许多不同姿态的脸部图片被称为监督学习。）

在我访问的那天，利尔恩-米勒和当时的研究生切尼·查多维茨正在查看由MATLAB计算机程序编写的算法生成的数据。查多维茨对利尔恩-米勒早期编写的一个只识别图像中正面朝向人脸的算法进行了改进。利尔恩-米勒凝视着一张散点图，图表显示改进后的算法在获取地理特征（如非洲之角）的不同图像并将其置于正确的经纬度方面取得了一些成功。

查多维茨毕业后，地球仪项目暂时搁置了，但利尔恩-米勒说他正在等待合适的学生来继续研究。目前，利尔恩-米勒正专注于解决创建不占用大量内存的人脸表示的问题。他正在研究一种算法，该算法将许多图像组合成一个“心理模型”，该模型可以捕捉视频中人脸的所有信息，但体积要小得多。

虽然利尔恩-米勒的基础研究可能十年甚至更长时间内都不会对市场产生影响，但其他研究人员的工作时间表较短。“计算机视觉领域的很多人都非常热衷于构建能够工作的东西，而要构建运行良好的东西却很困难，”他说。“通常我们会构建出90%时间都能工作的东西，但如果你将其投放市场，它每十次失败一次，在消费领域，这是不可接受的。”

展现工作面貌

尽管人脸识别公司过去曾出现，但最终失败或举步维艰，现在似乎是商业化的成熟时机。这是一个近30亿美元的产业，由MorphoTrust、NEC和Cognitec等公司主导，它们最大的销售额来自政府和企业安全部门。但预计到2020年，市场规模将翻一番。

部分增长将来自传统市场的扩张，因为更多的执法机构将采用这项技术。新型消费者应用也正在涌现。人脸识别软件除了识别人之外，还可以用于其他方面。它还用于搜索具有特定特征的人物图像，或跟踪头部运动和面部表情。旷视科技的Face++正在中国被用于约会服务甚至玩视频游戏。公司正在使用迈阿密人脸识别接口提供商Kairos的人脸识别编程接口，用于时间管理软件、医疗保健管理以及希望向游客出售照片的游乐园等。

还有一种趋势是将人脸识别与一种称为人脸分析的技术相结合，该技术利用一个人的面部表情来预测情绪，甚至诊断某些疾病。

此类应用程序引发了严重的隐私担忧：想象一下保险公司根据你的照片所暗示的健康状况来设定费率。电子前沿基金会的林奇指出涉嫌商店盗窃的人，说目前没有规定阻止公司共享信息。“如果你在商店盗窃并被保安抓住，商店有权将你拒之门外，”她指出，“但这种信息有可能在你从一家商店到另一家商店时一直跟踪你。”这在赌场行业已经发生。

我们的隐私法律也围绕着我们自身的自我保护努力而建立。例如，“谢绝来电登记”只有在你将号码登记在官方数据库中时才生效。人脸识别则不同——摄像头，通常由警察部门安装，仅仅因为你在公共街道上行走就会不断地记录我们。

“真正的纳税人资金被用于让执法部门将摄像头对准抗议者，并能够通过姓名识别他们，”乔治城大学法律隐私与技术中心执行主任阿尔瓦罗·贝多亚说。“我们需要思考这是否是我们想要的世界。”

对此的另一面来自纽约市警察局的科埃略警长。他说人脸识别在实际操作中非常有帮助。侦探们过去不得不挨家挨户地拿着图像寻找是否有人认识照片中的人。“我们现在不需要这样做了，”他说。“你把照片给我们，我们（在数据库中）会搞定剩下的。”

贝多亚承认，这项技术在某些方面确实能造福公众。但他担心它可能会抑制公众示威，或者让陌生人和公司随意拍摄我们的照片，并获取我们的姓名、职业和地址。一款名为NameTag的应用程序已经可以实现其中一些功能。其制造商，拉斯维加斯软件开发商FacialNetwork.com，去年推出了一款名为CreepShield的应用程序，该应用程序连接了包含50万注册性侵犯者照片的数据库。今年6月，贝多亚和其他八名消费者倡导者退出了由商务部下属国家电信和信息管理局主导的隐私指导方针讨论，理由是企业缺乏激励机制，无法赋予人们同意人脸识别的权利。

目前还没有涉及人脸识别对公民自由影响的法院案件，部分原因是我们还没有证据表明政府或公司正在滥用这项技术。德克萨斯州和伊利诺伊州是仅有的通过法律规范人脸识别商业用途的州。Facebook在4月被起诉，指控其违反了伊利诺伊州法律中的隐私限制；如果该案件进入审判，它将开创先例。

技术是著名的中立的；是人们决定是善用还是恶用它们。随着人脸识别即将成为一种更广泛的工具，我们必须就如何以及何时对其进行限制做出选择。

[本文最初以《面对面时间》为题刊登在纸质版上。]