人脸识别系统准确性有赖于训练库中的种族偏向

        前言:现有证据表明,人脸比对系统并非对所有种族都有相同的比对准确性。

       从目前我们所得知的情况来看,美国联邦调查局(FBI)和警察使用的面部识别系统可能存在种族偏差。这是该系统在设计和训练时采用不全面的数据库长期积累的结果,并非刻意所为。但它无疑会带来一定的问题,执法机构在刑事调查中对这类工具的依赖性越来越大,很大程度上增加了错判的风险。

        执法部门并没有就他们如何使用人脸识别系统提供过多的细节,但在6月份,政府问责局发布的一份报告显示,FBI并没有对其所用系统的准确性进行严格测试,也没有将那些海量的国家人脸比对数据库资源包含进训练库。

        目前美国最先进的人脸比对系统,对面部图像数据库中数据,能达到95%的准确性。这些照片都是在可控环境下,以普通大众为对象拍摄的。在不太理想的环境下(如不良照明、抓拍的怪异姿势和面部表情)拍摄的图像均可能会导致比对错误。

        密歇根州立大学的生物识别技术研究小组负责人Anil Jain称,人脸识别系统的不完善的训练方法也会导致其出现比对偏差。为了让系统完成人脸比对,人脸比对系统必须首先学会人脸识别,这借助于一个训练数据集,集中的一组图像从不同的角度告诉软件人脸是什么样的。如果训练集中缺少某一性别、某一年龄段或某一种族的典型数据,必将影响系统对该种群的比对准确性。

        2012年,Jain和几个同事用佛罗里达州皮内拉斯县警署的一组嫌疑犯照片来检测几种市售人脸识别系统,这其中包括执法机构的供应商的一套系统。这些系统在对女性、非裔美国人和年轻人等几类群体的面部进行比对时,结果均不太准确。Jain称,显然,这些系统对上述几类群体的代表性数据训练做得还不够。

        “如果数据集中某一种族的人脸数据量比较大,则算法在识别该种族人脸方面会做得好一些,”得克萨斯大学达拉斯分校面部知觉研究实验室的负责人Alice O’Toole说。2011年,O’Toole和几个同事发现,西方国家的人脸识别算法在识别白人面孔方面的性能比东亚人面孔要好。同样的,东亚国家的算法在识别东亚人面孔方面比白人面孔要好。

        自此以后的几年里,市售系统的准确性在众多领域内得到了显著改善,Jain称,人脸比对系统对不同性别、种族之间比对偏差应该是越来越小了。但可用的系统测试信息太少了,我们难以深入了解。比较新的人脸识别方法,如谷歌和Facebook开发的深度学习系统,如果没有完备的训练集,很可能会出现同样的问题。

        Jonathon Phillips,美国国家标准与技术研究所的一位电子工程师,从事市售人脸识别系统的性能测试工作。他说,完全可以设计一个测试实验来评判人脸比对系统存在的种族偏差问题。事实上,信息安全专家均主张进行该种测试。

        MorphoTrust,FBI面部识别系统的供应商,没有回答麻省理工大学科技评论(MIT Technology Review)的邮件提问,即他们是否对其系统在各种种族、性别和年龄群体下准确性做了测试。

        众多使用人脸识别系统的国家执法机构和其供应商之间的合约我们不甚清楚。但密歇根州警察局的数据分析鉴定师Pete Langenfeld称,他所在警局并没有就人脸识别算法对特定群体的准确性进行测试。他说他对提供该技术的供应商是否进行了类似的测试并不知情,但随后又说,这些测试均是专有信息,公司没有必要对外公布。

图片1

(1)

图片2

(2)

图片3

(3)

图片4

(4)

图:Sophia Foster-Dimino示例

Leave a Reply