日喀则地门户网
日期归档
国内新闻 当前位置:首页 > 国内新闻 > 正文

人脸识别有歧视?识别准确率黑人比白人差很多

2月9日,纽约时报英文网站上发表的一篇文章指出,现在非常流行的人工智能应用程序使用人脸识别,不同种族的准确率相差很大。其中,黑人女性的错误率高达21%-35%,而白人男性的错误率不到1%。

这篇文章引用了麻省理工学院媒体实验室研究员乔伊博拉姆维尼和微软科学家蒂姆尼格布鲁共同撰写的一篇研究论文《性别图谱:商用性别分类技术中的种族准确率差异》(性别阴影:交叉部分在商业性别分类中的准确度差异)中的数据。

作者选择微软、小发猫和Face作为三个人脸识别API,并测试了它们的人脸识别功能,以确定性别。以下是两组之间准确性差异最大的组。

本文的研究使用了一套名为试点议会中心标记(PPB)的自行收集的数据集进行测试,其中分别包含来自三个非洲国家和三个欧洲国家的1270张面孔。

在判断照片人物的性别时,作者测试的主要发现如下:

所有分类器在识别男性面孔方面的表现都优于女性面孔(8.1%-20.6%的误差差)

所有分类器在浅色皮肤男性面孔上的表现都优于深色皮肤男性面孔(11.8%-19.2%的误差差)

所有分类器在深色皮肤女性面孔上的表现最差(误差率在20.8%-34.7%之间)

微软和小发猫的分类器在浅色皮肤男性面孔上的表现最好(误差率为 分别为0.3%)

人脸分类器在深色皮肤男性的人脸上表现最好(错误率为0.7%)

最差组和最佳组之间的差异高达34.4%

。 应该指出的是,三个人脸识别应用程序接口没有详细解释它们使用的分类方法,也没有提到它们使用的训练数据。

然而,微软在其服务中说,“它并不总是100%准确的”;在使用条款中明确指出准确性无法保证。

关于可能的原因,《泰晤士报》文章称,当前的人工智能是数据为王,数据的质量和数量将影响人工智能的智能水平。因此,如果用于训练人工智能模型的数据集中白人男性的数据多于黑人女性,那么系统识别后者的能力将不如前者。

这种现象存在于现有的数据集中。例如,根据另一项研究的发现,75%广泛使用的人脸识别数据集是男性,80%是白人。

师旷在回复雷锋网站时说,黑暗种族数据集更难获得,所以情况会更糟。此外,当使用RGB相机进行人脸识别时,很难找到黑皮肤人的面部特征,尤其是在暗光条件下,这也是原因之一。

国际商用机器公司回应:报纸上使用的版本太旧了。新版本已经改进了。Buolamwini和Gebru的论文发现,2月6日,小发猫在其研究博客上发表了一篇回应文章。

这篇文章没有否认这篇论文的发现,但是指出,小发猫的沃森视觉识别服务一直在不断改进。在将于2月23日推出的最新版本的服务中,它使用了比本文更广泛的数据集,具有很强的识别能力,与论文中的错误率相比减少了近10倍。

在接下来的文章中,国际商用机器公司的研究人员使用与本文类似的方法进行了实验,发现如下情况:

结果显示总体错误率非常低。尽管黑皮肤女性的错误率仍然是所有人中最高的,但它明显低于论文中的结果。

师旷回应:黑皮肤种族识别的高错误率是一个普遍现象。它将在商业产品中得到改进。

雷锋网要求师旷对这篇文章做出回应,对方给出了非常详细的回答。在回应中,师旷首先认可了论文的研究方法,但同时指出,研究中使用的在线应用编程接口是一个较旧的版本,在商业产品中不会有这样的问题。此外,此类问题在行业中也很常见,并且不限于三个经过测试的问题。有两个主要原因,一是缺乏黑种人数据集,二是难以提取黑种人的面部特征。

以下是对全文的回应:

我们认为文章(论文)的想法并不是针对哪种技术,基本上是不吹黑不吹黑的中立态度,从文章的测试方法来看是比较科学的,但是文章中使用的“PPB”(Pilot ParliamentsbenchMark)数据集具有exp

当被集成到人脸应用编程接口中时,师旷研究所对不同种族进行检测和识别等测试。然而,就目前的国际研究水平而言,无论是学术界还是工业界,肤色人种的识别性能都不如“浅色”(文中引用的词语)的识别性能好。从本文的测试结果还可以看出,微软、小发猫和Face在深色人种(尤其是深色女性)的识别性能上有较高的误报率。

一方面,从人类基因和人脸识别技术的角度来看,肤色越深,基于RGB可见光的人脸识别就越困难。由于机器在人脸检测、分析和识别过程中需要对人脸图像进行预处理和提取特征,肤色越深,提取人脸特征信息就越困难,尤其是在一些暗光照的情况下,检测和区分就越困难。另一方面,人脸识别在很大程度上依赖于数据训练,而整个行业中黑人种族的可训练数据量相对较少,因此识别结果在一定程度上不尽如人意,因此本文给出的测试结果在行业中是一种普遍现象。在这篇文章中,只有三个行业代表被选中参加测试。如果样本量足够大,可以得出其他结论。

然而,测试结果也显示Face对于黑人男性的识别错误率最低(0.7%),在南非的PPB子测试集中,Face在识别肤色较浅的人方面的表现无懈可击,这实际上间接地表明Face的人脸识别能力处于世界领先地位。

文章作者提出了一个很好的问题,但是文章中测试的在线版本的应用编程接口与我们提供给用户的商业版本无关,用户不会对商业使用产生任何影响。

当然,我们也相信这个行业正在做出各种努力来优化种族认同。就Face而言,未来的研究所将从几个角度改善现状,如增加培训数据和对不同民族进行特殊培训。此外,它还将从算法层面优化当前流程,以提高不同族群的识别性能。此外,开放视觉也增加了3D感知的研究和开发,并将3D特征信息整合到应用中,以弥补2D信息的不足,使模型更加稳健。

人工智能真的有区别吗?

根据《泰晤士报》的一篇报道,该论文的作者之一,一名黑人妇女Buolamwini,在做研究之前遇到了一个无法识别她的脸的人脸识别问题。直到她戴上白色面具,她才开始这项研究。显然,本研究试图探索人工智能时代是否存在社会不公甚至种族歧视。

种族歧视是一个非常敏感的话题,只要稍微触动一下,许多事情都会引起强烈反弹。在人脸识别领域,作者的研究和厂商的实验都清楚地发现女性黑种人识别的错误率较高。但这是否代表对人工智能的歧视?

显然不是,如果你调查原因,更难识别肤色较深的女性。除了提取自然面部特征更加困难这一事实之外,还有一个原因是可用于训练的数据集更少。从市场的角度来看,小发猫和微软在白人中表现最好,因为他们的市场主要在欧洲和美国,那里白人占主导地位。师旷的主要市场在东亚和东南亚,所以它在黄种人中的表现会好得多。这与歧视无关,而是面向市场的技术研发。

此外,本文确实表明人工智能智能与训练数据密切相关,所以在设计人工智能应用程序时,我们应该尽最大努力使用广泛而有代表性的数据来照顾不同的群体。同时,我们应该积极向公众解释人工智能的原理。

最后,雷锋认为,这一事件也表明,鼓励发展新技术造福更多的少数民族是一个需要更多关注的问题,不仅是面子问题,还有语言和文化问题。

youtube.com



日喀则地门户网 版权所有© www.ccvde.cn 技术支持:日喀则地门户网 | 网站地图