深度学习人脸识别基础
一、人脸识别技术之–序言部分
1、什么是人脸识别？
人脸识别是一种基于人的面部特征信息进行身份识别的生物特征识别技术。
2、人脸识别分类
2.1、1：1 人脸验证
在1:1 人脸验证中，每次会对一对人脸进行比对来判断这两张人脸是否属于同一个人。人脸识别模型会分别输出这两张人脸的特征向量，然后计算这两个人脸的相似度。如果相似度大于某个阈值，那么就认为这两个人属于同一个人，反之，则属于不同的人。
比如火车站进站系统、手机人脸解锁、手机APP验证登录等等都属于1:1人脸验证。
2.2、1：N人脸辨识
1：N人脸辨识是将图像采集设备采集到的人脸照片与底库里面已经注册后的人脸照片进行一一比对，找到其中最相似的图片进行人脸辨识。
人脸识别的底库注册一般都是存储的所有人脸的特征向量，并非人脸图像。
人脸识别模型会将需要识别的人脸进行特征向量提取然后分别与底库所有人脸的特征向量进行一一比对，计算这两个人脸的相似度，系统会认定得分最高的人脸属于同一个人。
比如上班打卡签到系统，学校门禁闸机系统。
2.3、N:N人脸辨识
N:N人脸辨识是同时将一张图片里面的多个人脸与底库进行匹配，同时进行多人身份辨识，可以看做是1:N检索的多任务版本。
N:N人脸辨识对平台计算能力要求比较高，同时也对系统的计算效率和实时性要求较高。
2.4、人脸识别还可以分为静态识别和动态识别
由于大多数人脸1：1验证的场景都对人有了一定的限制（比如正对摄像头，把头放到指定区域内等）这种属于静态识别，这些限制能保证采集到的图像都是正脸图像，因此人脸1：1人脸验证无论是对算法要求以及软硬件要求实现起来难度较低。
动态识别是图像采集设备在人运动过程中进行抓拍采图，此时采集到的图像会存在模糊、人脸角度大、光线条件异常等等问题，导致识别难度较大，容易出现误判和漏判的情况。
动态人脸识别一般应用在无感人脸打卡，驾驶员抓拍等场景。
3、目前人脸识别的应用场景
随着技术的发展，人脸识别已经应用在指挥交通、智慧金融、智慧城市、医疗、警务等等很多场景。
二、人脸识别技术之–数据部分
1、人脸识别数据部分
一般来说广义的人脸识别包含了以下步骤：图像获取、人脸检测、关键点定位、人脸校正、人脸特征提取、人脸相似度匹配。
1.1、影响人脸图像质量的因素
不同的人脸图像通过图像采集设备得到，根据项目需求不同，对采集到的图像要求也不同，
一般我们在做人脸识别之前会有图像质量判断，舍弃掉一些人脸图像质量较差的图像，以助于提高人脸识别的精度。以下是图像采集阶段需要关注的几个点：
（1）图像大小
人脸图像过小会影响识别效果，人脸图像过大会影响识别速度。非专业人脸识别摄像头常见规定的最小识别人脸像素为6060或100100以上。在规定的图像大小内，算法更容易提升准确率和召回率。一般得图像太大算法内部都会做resize处理。
（2）图像分辨率
一般来说越低的图像分辨率人脸识别越难实现。综合考虑图像大小和图像分辨率，会直接影响摄像头识别距离。经验发现4K摄像头看清人脸的最远距离是10米，7K摄像头是20米。
（3）图像曝光度
图像采集设备采集到的过曝或过暗的人脸图像都会影响人脸识别效果。这种场景可以从摄像头自带的功能补光或滤光平衡光照影响，也可以利用算法模型优化图像光线来提高人脸识别率。
（4）图像清晰度
在实际应用场景中，特别是动态识别主要着力解决运动模糊，人脸相对于摄像头的移动经常会产生运动模糊。虽然部分摄像头有抗模糊的功能，而在成本有限的情况下，可以考虑通过算法模型优化此问题。
夜间图像采集设备为了提高画面亮度增益较高，快门也比较大，导致人脸拖影更加严重。
（5）图像人脸遮挡检测
通常在人脸识别场景中，五官无遮挡、脸部边缘清晰的图像为最佳。而在实际场景中，由于采集角度得关系，很多人脸都会被帽子、眼镜、口罩等遮挡物遮挡，这部分数据需要根据算法要求决定是否留用训练。
（6）人脸角度异常
理想状态下，在人脸识别过程中人脸相对于摄像头角度为正脸最佳。这种情况在静态识别中容易实现，但实际动态识别场景中往往很难抓拍正脸。因此算法模型需训练包含左右侧人脸、上下侧人脸的数据。工业施工上摄像头安置的角度，需满足人脸与摄像头构成的角度在算法识别范围内的要求。
在保证硬件安装正确，训练数据包含左右侧人脸、上下侧人脸的数据的前提下。
检测算法如果检测到人脸角度偏大很多，无法通过算法校正回来以后，可以选择剔除当前数据。
2、人脸检测、关键点检测、人脸识别常用的数据集梳理
2.1人脸检测数据集
（1）WIDER FACE
WIDER FACE数据集是人脸检测的一个benchmark数据集，包含32203图像，以及393,703个标注人脸，其中，158,989个标注人脸位于训练集，39,496个位于验证集。每一个子集都包含3个级别的检测难度：Easy，Medium，Hard。这些人脸在尺度，姿态，光照、表情、遮挡方面都有很大的变化范围。WIDER FACE选择的图像主要来源于公开数据集WIDER。制作者来自于香港中文大学，他们选择了WIDER的61个事件类别，对于每个类别，随机选择40%10%50%作为训练、验证、测试集。检测算法在测试集上的评估方式与PASCAL VOC DATADASET 相同，并且测试集的真值包围框（boundingbox）未发布。
官网下载链接：http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/
AImagic社区下载链接:等待完善
（2）Caltech 10000
数据集地址：发布于2007年，这是一个灰度人脸数据集，使用Google图片搜索引擎用关键词爬取所得，包含了7,092张图，10,524个人脸，平均分辨率在304x312，除此之外还提供双眼，鼻子和嘴巴共4个坐标位置。在早期被使用的较多，现在的方法已经很少用灰度数据集做评测。
官网下载链接：http://www.vision.caltech.edu/Image_Datasets/Caltech_10K_WebFaces/
AImagic社区下载链接:等待完善
（3）AFW
发布于2013年。AFW数据集是人脸关键点检测非常早期使用的数据集，共包含205个图像，其中有473个标记的人脸。每一个人脸提供了方形边界框，6个关键点和3个姿势角度的标注。
官网下载链接：失效
AImagic社区下载链接:等待完善
（4）FDDB
发布于2010年，这是被广泛用于人脸检测方法评测的一个数据集，FDDB全称是Face Detection Data Set and Benchmark，它的提出是用于研究无约束人脸检测。所谓无约束指的是人脸表情、尺度、姿态、外观等具有较大的可变性。FDDB的图片都来自于 Faces in the Wild 数据集，图片来源于美联社和路透社的新闻报道图片，所以大部分都是名人，而且是自然环境下拍摄的。共2845张图片，里面有5171张人脸图像。
通常人脸检测数据集的标注采用的是矩形标注，即通过矩形将人脸的前额，脸颊和下巴通过矩形包裹起来，但是由于人脸是椭圆状的，所以不可能给出一个恰好包裹整个面部区域而无干扰的矩形。
在FDDB当中采用了椭圆标记法，它可以适应人脸的轮廓。具体来说，每个标注的椭圆形人脸由六个元素组成。(ra, rb, Θ, cx, cy, s)，其中ra，rb是椭圆的半长轴、半短轴，cx, cy是椭圆的中心点坐标，Θ是长轴与水平轴夹角（头往左偏Θ为正，头往右偏Θ为负），s则是置信度得分。标注的结果是通过多人独立完成标注之后取标注的平均值，而且排除了以下的样本。
长或宽小于20个像素的人脸区域。
设定一个阈值，将像素低于阈值的区域标记为非人脸。
远离相机的人脸区域被标记为非人脸。
人脸被遮挡，2个眼睛都不在区域内的标记为非人脸。
官网下载链接：http://vis-www.cs.umass.edu/fddb/index.html
AImagic社区下载链接:等待完善
（5）MALF数据集
发布于2015年，全称 Multi-Attribute Labelled Faces ，MALF是为了更加细粒度地评估野外环境中人脸检测模型而设计的数据库。数据主要来源于Internet，包含5250个图像，11931个人脸。每一幅图像包含正方形边界框，头部姿态的俯仰程度，包括小中大三个等级的标注。该数据集忽略了小于20*20或者非常难以检测的人脸，共包含大约838个人脸，占该数据集的7%。同时该数据集还提供了性别，是否带眼镜，是否遮挡，是否是夸张的表情等辅助信息。
官网下载链接：http://www.cbsr.ia.ac.cn/faceevaluation/
AImagic社区下载链接:等待完善
2.2人脸识别数据集
（1）FERET
发布于1993年至1996年，由FERET项目创建，包含14,051张多姿态，不同光照的灰度人脸图像，每幅图中均只有一个人脸，在早期的人脸识别领域应用非常广泛。
官网下载链接：http://www.nist.gov/itl/iad/ig/colorferet.cfm
AImagic社区下载链接:等待完善
（2）Yale/YaleB
Yale人脸数据库与YALE人脸数据库B分别发布于1997年和2001年，这是两个早期的灰度数据集。Yale人脸数据库由耶鲁大学计算视觉与控制中心创建，包含15位志愿者的165张图片，包含光照，表情和姿态的变化。
后面将其拓展到YALE人脸数据库B，包含了10个人的5760幅多姿态，多光照的图像。具体包括9个姿态，64种光照变化，在实验室严格控制的条件下进行。虽然每个人的图像很多，但是由于采集人数较少,该数据库的进一步应用受到了比较大的限制。
官网下载链接：http://vision.ucsd.edu/~iskwak/ExtYaleDatabase/Yale%20Face%20Database.htm
AImagic社区下载链接:等待完善
（3）CAS-PEAL
发布于2008年，CAS-PEAL数据集是中国科学院收集建立的，它主要是为了提供一个大规模的中国人脸数据集用于训练和评估对应东方人的算法，有灰度图和彩色图两个版本。
目前，CAS-PEAL人脸数据库由1040个人（595名男性和445名女性）的99594张图像组成，在特定环境下具有不同的姿势、表情、照明条件、表情以及是否佩戴眼镜等信息。对于每个被拍摄的人，通过9个相机来同时捕获不同姿态的图像，平均每一个人采集了约900张图像。
官网下载链接：http://www.jdl.ac.cn/peal/
AImagic社区下载链接:等待完善
（4）LFW数据集
发布于2007年，Labeled Faces in the Wild(简称LFW)，是为了研究非限制环境下的人脸识别问题而建立，这是比较早期而重要的测试人脸识别的数据集，所有的图像都必须要能够被经典的人脸检测算法VJ算法检测出来。
该数据集包含5749个人的13233张全世界知名人士的图像，其中有1680人有2张或2张以上人脸图片。它是在自然环境下拍摄的，因此包含不同背景、朝向、面部表情。
官网下载链接：http://vis-www.cs.umass.edu/lfw/index.html#download
AImagic社区下载链接:等待完善
（5）CMU PIE
CMU PIE数据集发布于2000年，PIE就是姿态(Pose)，光照(Illumination)和表情(Expression)的缩写。包含68位志愿者的41,368张图，每个人有13种姿态条件，43种光照条件和4种表情。其中的姿态和光照变化图像也是在严格控制的条件下采集的，它在推动多姿势和多光照的人脸识别研究方面具有非常大的影响力，不过仍然存在模式单一多样性较差的问题。
为了解决这些问题，卡内基梅隆大学的研究人员在2009年建立了Multi-PIE数据集。它包含337个人，在15个角度，19个照明条件和不同的表情下记录，最终超过750000个图像。由于图像质量较高，原始的图片大小超过了300G，需要购买。
CMU PIE官网下载链接：
https://www.ri.cmu.edu/publications/the-cmu-pose-illumination-and-expression-pie-database-of-human-faces/
CMU PIE AImagic社区下载链接:等待完善
Multi-PIE官网下载链接：
http://www.cs.cmu.edu/afs/cs/project/PIE/MultiPie/Multi-Pie/Home.html
Multi-PIE AImagic社区下载链接:等待完善
（6）Pubfig
发布于2010年，这是哥伦比亚大学的公众人物脸部数据集，包含有200个人的58797张人脸图像，主要用于非限制场景下的人脸识别。与LFW相比，这个数据集更大，但是人更少，每个人的图片更多。
官网下载链接：http://www.cs.columbia.edu/CAVE/databases/pubfig/
AImagic社区下载链接:等待完善
（7）MSRA-CFW
发布于2012年，由MSRA收集整理，包含1,583个人的202,792张图像，采用了自动标注的方法。
官网下载链接：http://research.microsoft.com/en-us/projects/msra-cfw/
AImagic社区下载链接:等待完善
（8）CASIA WebFace
发布于2014年，这是李子青实验室开放的国内非常有名的数据集，包含10575个人494414张图。
官网下载链接：http://classif.ai/dataset/casia-webface/
AImagic社区下载链接:等待完善
（9） Celeba
发布于2015年，这是由香港中文大学汤晓鸥教授实验室发布的大型人脸识别数据集。该数据集包含10,177个名人的202,599张人脸图片，人脸属性有40多种，包括是否戴眼镜，是否微笑等，主要用于人脸属性的识别。
官网下载链接：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
AImagic社区下载链接:等待完善
（10）FaceScrub
发布于2016年，总共包含了530个人的106863张图片，其中男性女性各占265，每个人大概200张图。
官网下载链接：http://vintage.winklerbros.net/facescrub.html
AImagic社区下载链接:等待完善
（11） UMDFaces
发布于2016年，这个数据集有静态图和视频两部分，其中静态图包含8277个人的367,888张脸，视频包含22,075个视频中的3,107个人的3,735,476张图。同时标注了21个关键点，性别信息，以及人的3个姿态。
官网下载链接：http://www.umdfaces.io/
AImagic社区下载链接:等待完善
（12）MegaFace
发布于2016年，MegaFace数据集包含一百万张图片，共 690000个不同的人，所有数据都是华盛顿大学从Flickr组织收集。
这是第一个在一百万规模级别的面部识别算法测试基准。现有脸部识别系统仍难以准确识别超过百万的数据量。为了比较现有公开脸部识别算法的准确度，华盛顿大学在2017年底开展了一个名为“MegaFace Challenge”的公开竞赛。这个项目旨在研究当数据库规模提升数个量级时，现有的脸部识别系统能否维持可靠的准确率。
官网下载链接：http://megaface.cs.washington.edu/dataset/download.html
AImagic社区下载链接:等待完善
（13）MS-Celeb-1M
发布于2016年，这是目前世界上规模最大、水平最高的图像识别赛事之一，由MSRA（微软亚洲研究院）发起，每年定期举办。参赛队伍被要求基于微软云服务，搭建包括人脸检测、对齐、识别的完整人脸识别系统，而且识别系统必须先通过远程实验评估。
训练集合包含10M 图片，具体的操作是从1M个名人中，根据他们的受欢迎程度，选择100K个。然后，利用搜索引擎，给100K个人，每人搜大概100张图片。共得到100K*100=10M个图片。测试集包括1000个名人，这1000个名人来自于1M个明星中随机挑选，每个名人大概有20张图片。
官网下载链接：https://www.msceleb.org/
AImagic社区下载链接:等待完善
（14）VGG Face
VGG Face发布于2015年，包括2622个对象，每个对象拥有约1000副静态图像；
VGG Face2发布于2017年，包含了9131个人的3.31百万张图片，平均每一个人有362.6张图。这个数据集人物ID较多，且每个ID包含的图片个数也较多。数据集覆盖了大范围的姿态、年龄和种族，其中约有59.7%的男性。除了身份信息之外，数据集还包括人脸框，5个关键点、以及估计的年龄和姿态。
官网下载链接：http://www.robots.ox.ac.uk/~vgg/data/vgg_face/
官网下载链接：http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/
AImagic社区下载链接:等待完善
（15）IMDB-Face
发布于2018年，包含590000个人，17000000张图，是现在人脸最多的数据集了。
官网下载链接：http://www.cbsr.ia.ac.cn/faceevaluation/
AImagic社区下载链接:等待完善
（16）YouTube Faces
发布于2011年，它包含了1,595个人的3,425段视频，最短的为48帧，最长的为6070帧。和LFW不同的是，在这个数据集下，算法需要判断两段视频里面是不是同一个人。有不少在照片上有效的方法，在视频上未必有效/高效。
官网下载链接：http://www.cs.tau.ac.il/~wolf/ytfaces/results.html
AImagic社区下载链接:等待完善
（17）IARPA Janus
这是进几年开启的人脸识别比赛，由美国国家技术标准局（NIST）在2015年召开的CVPR上发布，当时是IJB-A人脸验证与识别数据集, 包含500个对象的5396副静态图像和20412帧的视频数据。
被拍摄者来自世界不同国家、地区和种族，具有广泛的地域性，在完全无约束环境下采集的。面部姿态变化巨大，光照变化剧烈，所以难度非常大。
另外，数据集引入了“模板”的概念，一个模板就是一个集合，集合包括被拍摄者的静态图像和视频片段，最终的人脸验证与识别不是基于单个图像，而是基于集合对集合。
此后，2017年迭代到IARPA Janus B，2018年迭代到IARPA Janus C，包括了138000人脸，11000个视频，10000张非人脸，在这里拿下好名次，才能称为真正的人脸识别好手。
人脸识别虽然在百万级别的数据集如MegaFace等都已经达到相当高的水准，但是在现实世界中面临各种姿态，分辨率，遮挡等问题，仍然有较大的研究空间。
官网下载链接：https://www.iarpa.gov/index.php/research-programs/janus
AImagic社区下载链接:等待完善
（18）Glint360K
Glint360K具有36w类别，和1700w张图片，不论在类别数还是图片数目，相比起MS1MV2都是大幅度的提升，类别数目和图片数目比主流训练集加起来还要多。
官网下载链接：
https://github.com/deepinsight/insightface/tree/master/recognition/partial_fc#glint360k
官网论文下载链接：https://arxiv.org/abs/2010.05222
AImagic社区下载链接:等待完善
（19）WebFace260M
这就是由芯翌科技与清华大学自动化系智能视觉实验室合作，所推出的WebFace 260M，相关研究已被CVPR 2021接收。
同时在WebFace260M的基础上，芯翌科技和清华大学的研究人员采用自训练全自动迭代的清洗流程 (Cleaning Automatically by Self-Training, CAST)，得到WebFace42M，是目前全球规模最大的可直接用于训练的干净人脸数据集。该数据集包含200万ID和4200万图片，ID数目和图片数目相比目前使用最广泛、最受认可的公开数据集MS1MV2都提高了一个数量级以上。
并且，基于其所清洗的数据集WebFace42M，在最具挑战IJBC测试集上，也已经达到了SOTA水平。
而它所带来的“全球之最”还不止于此。
以这项数据集为基础，芯翌科技在最新一期的NIST-FRVT榜单上，戴口罩人脸识别评测中斩获世界第一。
官网数据集下载链接：无
官网论文下载链接：https://arxiv.org/abs/2103.04098
AImagic社区下载链接:等待完善
2.3人脸关键点定位数据集
（1）XM2VTS
XM2VTS，发布于1999年，包含295个人，2360张正面图，标注了68个关键点，大部分的图像是无表情，而且在同样的光照环境下。
官网下载链接：http://www.ee.surrey.ac.uk/CVSSP/xm2vtsdb/
AImagic社区下载链接:等待完善
（2）AR Face Database
AR Face Database发布于1998年，包括126个人，超过4000张图，标注了22个关键点。
官网下载链接：http://www2.ece.ohio-state.edu/~aleix/ARdatabase.html
AImagic社区下载链接:等待完善
（3）FGVC-V2
FGVC-V2发布于2005年，共466个人的4950张图，包括均匀的光照条件下的高质量图和不均匀的光照条件下的低质量图，标注了5个关键点。
官网下载链接：https://www.nist.gov/programs-projects/face-recognition-grand-challenge-frgc
AImagic社区下载链接:等待完善
（4）LFPW
LFPW人脸数据库，发布于2011年，包括1432张图像，标注了29个关键点。
官网下载链接：， https://neerajkumar.org/projects/face-parts/
AImagic社区下载链接:等待完善
（5）Helen
Helen人脸数据库，发布于2012年，包括训练集和测试集，测试集包含了330张人脸图片，训练集包括了2000张人脸图片，都被标注了68个特征点。
官网下载链接：http://www.ifp.illinois.edu/~vuongle2/helen/
AImagic社区下载链接:等待完善
（6）IBUG
IBUG，发布于2013年，这是随着300W一起发布的数据集，包含了135张人脸图片，每张人脸图片被标注了68个特征点。
官网下载链接：等待完善
AImagic社区下载链接:等待完善
（7）AFLW
AFLW(Annotated Facial Landmarks in the Wild)是一个包括多姿态、多视角的大规模人脸数据库，一般用于评估面部关键点检测效果，图片来自于flickr的爬取。总共有21,997张图，25,993张面孔，每张人脸标注21个关键点，共380k个关键点，由于是肉眼标记，不可见的关键点不进行标注。
除了关键点之外，还提供了矩形框和椭圆框的脸部位置标注，其中椭圆框的标注方法与FDDB相同。另外还有从平均3D人脸重建提供的3D的人脸姿态角标注。
大部分图像是彩色图，也有少部分是灰度图，59%为女性，41%为男性，这个数据集非常适合做多角度多人脸检测，关键点定位和头部姿态估计，是关键点检测领域里非常重要的一个数据集。
官网下载链接：https://www.tugraz.at/institute/icg/research/team-bischof/lrs/downloads/aflw/
AImagic社区下载链接:等待完善
（8）300W
发布于2013年，包含了300张室内图和300张室外图，其中数据集内部的表情，光照条件，姿态，遮挡，脸部大小变化非常大，因为是通过Google搜索“party”, “conference”等较难等场景搜集而来。该数据集标注了68个关键点，一定程度上在这个数据集能取得好结果的，在其他数据集也能取得好结果。
300-W challenge是非常有名的用于评测关键点检测算法的基准，在ICCV 2013举办了第一次人脸关键点定位竞赛。300-W challenge所使用的训练数据集实际上并不是一个全新的数据集，它是采用了半监督的标注工具，将AFLW，AFW，Helen，IBUG，LFPW，FRGC-V2，XM2VTS等数据集进行了统一标注然后得到的，关键信息是68个点。
在ICCV2015年拓展成了视频标注，即300 Videos in the Wild (300-VW)，数据集地址是https://ibug.doc.ic.ac.uk/resources/300-VW/，感兴趣读者可以关注。
官网下载链接：https://ibug.doc.ic.ac.uk/resources/300-W/
AImagic社区下载链接:等待完善
（9） MTFL/MAFL
发布于2014年，这里包含了两个数据集。Multi-Task Facial Landmark (MTFL) 数据集包含了12,995 张脸，5个关键点标注，另外也提供了性别，是否微笑，是否佩戴眼镜以及头部姿态的信息。Multi-Attribute Facial Landmark (MAFL) 数据集则包含了20,000张脸，5个关键点标注与40个面部属性，实际上后面被包含在了Celeba数据集中，该数据集我们后面会进行介绍。这两个数据集都使用TCDCN方法将其拓展到了68个关键点的标注。
官网下载链接：http://mmlab.ie.cuhk.edu.hk/projects/TCDCN.html
AImagic社区下载链接:等待完善
（10）WFLW数据集
WFLW包含了10000张脸，其中7500用于训练，2500张用于测试，共98个关键点。除了关键点之外，还有遮挡，姿态，妆容，光照， 模糊和表情等信息的标注。
由于人脸关键点是整个人脸任务中非常基础和重要的，所以在工业界有更多的关键点的标注，目前96点，106点都是非常常见的。因为商业价值，这些数据集一般不会进行公开。
官网下载链接：https://wywu.github.io/projects/LAB/WFLW.html
AImagic社区下载链接:等待完善