【WFAS】《Wild Face Anti-Spoofing Challenge 2023: Benchmark and Results》

Wang D, Guo J, Shao Q, et al. Wild face anti-spoofing challenge 2023: Benchmark and results[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 6380-6391.

CVPRW-2023

数据集地址：https://github.com/deepinsight/insightface/tree/master/challenges/cvpr23-fas-wild

---

---

1、Background and Motivation

背景

（1）人脸识别技术的广泛应用：

近年来，人脸识别技术已经在各个领域得到了广泛应用，如门禁控制、手机解锁、数字支付和考勤系统等。

（2）人脸识别系统的安全风险：

尽管人脸识别技术带来了便利，但这些系统也面临着显著的安全风险。例如，考勤系统可能被照片欺骗，手机解锁系统可能被攻击，数字支付系统可能被身份盗用。

（3）人脸反欺诈（FAS）技术的重要性：

人脸反欺诈（FAS）技术作为自动人脸识别系统的重要组成部分，对于保障这些系统的完整性至关重要。

（4）现有FAS数据集的局限性：

尽管FAS技术取得了显著进展，但现有方法在真实世界应用中的泛化能力仍然有限。这主要归因于公开可用的FAS数据集数量有限且缺乏多样性，导致训练时过拟合或测试时饱和。

---

动机

（1）解决现有数据集的局限性：

现有的FAS数据集大多包含少于2000个受试者，且样本大多在受控环境中收集，缺乏场景多样性。本文旨在通过引入一个大规模、多样化的FAS数据集来解决这些问题。

a lack of scenario richness

significant sample homogenization.

（2）引入Wild Face Anti-Spoofing (WFAS) 数据集：

WFAS数据集是在无约束环境下收集的大规模、多样化FAS数据集，包含321,751个欺诈受试者的853,729张图像和148,169个真实受试者的529,571张图像。该数据集通过互联网收集欺诈样本，涵盖了广泛的场景和各种商业传感器，包括17种呈现攻击（PAs），涵盖了2D和3D形式。

variety of scenarios and commercial sensors

（3）推动FAS技术的发展：

通过利用 WFAS 数据集和 Protocol 1（Known-Type Protocol 已知类型），本文在CVPR 2023研讨会上举办了 Wild Face Anti-Spoofing Challenge e at the CVPR2023 workshop。此外，还使用 Protocol 1 和 Protocol 2（未知类型 Unknown-Type Protocol）对代表性方法进行了细致评估。通过深入分析挑战结果和基准基线，本文提供了深入的分析，并提出了未来研究的潜在途径。

2、Related Work

• Face Anti-Spoofing Datasets

• Face Anti-Spoofing Methods

3、Advantages / Contributions

• 提出了大规模、多样化的 WFAS 数据集
• 基于 WFAS 提出了两种测试协议，并基于协议1 举办了 Wild Face Anti-Spoofing Challenge
• 解读分析了前三名的技术方案，给出了未来展望

4、Methods

4.1、Face Anti-Spoofing Methods

1) classification supervision

2) auxiliary pixel-wise supervision

Pseudo depth labels

Pseudo reflection maps

binary mask labels

3) generative pixel-wise supervision

Generative pixel-wise supervision is visually insightful and more interpretable.

spoof noise modeling or spoof cue generation

4.2、Wild Face Anti-Spoofing Dataset

Data Construction

obtain from the internet under a specific creative commons license,

Live Data：

All live faces were clustered using RetinaFace（人脸检测器） and ArcFace（人脸识别器）,resulting in a total of 529,571 images from 148,169 live subjects.

十几万的 id，还是挺丰富的

Spoof Data：

were sourced from the internet

tablet——平板

Garage Kits——“手办”，特指需要玩家自行组装、涂装的树脂模型套件

a significant breakthrough in FAS data quantity and diversity.

training, development, and testing subsets with an approximate ratio of 4:1:5

5、Experimental Settings

5.1、Evaluation Metrics

standardized ISO/IEC 301073 metrics

Attack Presentation Classification Error Rate

Bonafide Presentation Classification Error Rate

Average Classification Error Rate

5.2、Evaluation Protocols

Known-Type Protocol——all PA types for training, development, and testing（训练、验证、测试集都包含所有的 PAs）

Unknown-Type Protocol——训练和测试的 PAs 不一样

5.3、Baselines

to eliminate the influence of arbitrary and unfaithful cues (e.g., screen bezel) on spoofing patterns，作者仅用 face 的 bbox 区域作为输入

不同颜色的框表示不同类型的方法， 依次为 classification supervision、auxiliary pixel-wise supervision、generative pixel-wise supervision

LGSC 的泛化性能不错，auxiliary pixel-wise supervision 方法不及预期

5.4、Challenge Results

Based on our dataset and Protocol 1 (Known-Type), we hosted the Wild Face Anti-Spoofing Challenge at the CVPR 2023 workshop.

The face scale was randomly set to between 1.0 and 1.2 times the side length, making it more suitable for real-world application scenarios

Netease 是网易

---

看看前三名的实现方案

（1）China Telecom

self-supervised stage and supervised learning stage

The teacher network’s parameters are updated with an exponential moving average (EMA) of the student parameters

老师网络和学生网络结构一样

In the second stage, self-supervised weights are used to initialize ViT for supervised learning

（2）MeiTuan

用 MoCoV2 自监督训练出 SwinV2-huge 和 SwinV2-tiny 两个网络，然后在活检数据集上微调，接着用蒸馏学习训练两个网络

（3）NetEase

先用 convnext 来 train， train 完预测一波得到 soft label

再用 maxvit 配合组合 loss 来学 soft labels

也算是蒸馏了，老师和学生的输入不同

---

6、Conclusion（own） / Future work

• diversity
• screen bezel
• In comparison to face recognition technology, face anti-spoofing remains an unresolved issue in face recognition systems
• the top-3 solutions all utilized the Transformer
• we have yet to see the emergence of new methods with better interpretability for the FAS task

---

更多论文解读，请参考 【Paper Reading】