当前位置: 首页 > ds >正文

《Adversarial Sticker: A Stealthy Attack Method in the Physical World》论文分享(侵删)

原文链接:Adversarial Sticker: A Stealthy Attack Method in the Physical World | IEEE Journals & Magazine | IEEE Xplore

author={Xingxing Wei and Ying Guo and Jie Yu}

摘要

        为了评估深度学习在物理世界中的脆弱性,最近的工作引入了对抗补丁,并将它们应用于不同的任务。在本文中,我们提出了另一种对抗补丁:有意义的对抗贴纸,一个物理上可行的和隐形的攻击方法,通过使用我们生活中存在的真实的贴纸。与之前通过设计扰动的对抗性补丁不同,我们的方法操纵贴纸在对象上的粘贴位置和旋转角度来执行物理攻击。由于位置和旋转角度受印刷损失和颜色失真的影响较小,因此对抗性贴纸可以在物理世界中保持良好的攻击性能。此外,为了使对抗贴纸在真实的场景中更实用,我们在黑盒设置中使用有限的信息进行攻击,而不是白盒设置中使用所有威胁模型的细节。为了有效地解决贴纸的参数,我们设计了基于区域的启发式差分进化算法,它利用新发现的区域聚集的有效解决方案和自适应调整策略的评价标准。该方法在人脸识别中得到了全面验证,并扩展到图像检索和交通标志识别中。大量的实验表明,该方法在复杂的物理条件下是有效的,并且对不同的任务具有很好的推广性。

一、INTRODUCTION

        随着深度神经网络(DNNs)的发展,基于DNNs的视觉系统在不同的任务中表现出了优异的性能[1],[2],[3]。然而,DNN容易受到对抗样本的攻击[4],[5]。通过对输入实例添加一个小的恶意扰动,系统就可能做出错误的身份判断,从而导致严重的后果。

        然而,在真实的场景中,基于DNN的视觉系统通过直接扫描物体来工作。因此,攻击者只能改变物体在物理世界中的外观,为摄像头提供恶意输入,这一点更具挑战性,需要应对光线、距离和姿势变化等复杂的物理条件。为了使对抗性的例子在物理世界中可用,最近的工作引入了对抗性补丁[6]。它们并不限制扰动的大小,而是在一个固定的区域内产生对抗扰动。实验表明,补丁可以放置在对象上,并使分类器输出一个目标类。到目前为止,研究人员已经将对抗补丁应用到了不同的任务中,如人脸识别[7],[8],[9],[10],目标检测[11],[12],行人检测[13],[14]等。

        尽管对抗性补丁取得了成功,但它们有两个局限性。第一个是补丁的扰动模式将面临一个复杂的从数字域到物理世界的转移过程。具体来说,转换期望(EOT)[15],总变差(TV)损失和非可打印性得分(NST)损失[9],[10]用于确保真实世界对抗性示例的攻击性能。EOT考虑对象的一组变换(姿势、距离变化等)。产生对抗性干扰的时候TV损失旨在使扰动更加平滑,而Tvloss是为了处理数字像素值与实际打印外观之间的差异。一方面,这些操作导致高计算成本,例如,EOT需要穷尽不同的转换。另一方面,由于打印设备的限制,尽管使用了电视和微波损耗,扰动的值将不可避免地变得失真。最后但并非最不重要的是,目前的物理扰动是无意义的和不规则的,不够自然的外观,并容易引起人们的怀疑。这些缺点促使我们探索新形式的对抗补丁来解决上述问题。第二个是大多数以前的对抗补丁都是基于白盒攻击设置[6],[8],[9],[13],[14]。这意味着它们需要目标模型的详细结构和参数。然而,上述信息通常不容易获得,特别是在实际应用中。相反,一些商业在线视觉API(例如Face++和Microsoft云服务)通常会返回上传图像的预测身份和分数。通过利用这些有限的信息,探索基于查询的黑盒攻击来构建对抗补丁在大多数真实的场景中比以前的白盒攻击更合理的解决方案。

        基于以上两点,本文旨在解决以下问题:在信息有限的黑盒环境下,如何利用生活中已有的材料,构造出一个对复杂物理变化具有鲁棒性的隐形对抗补丁。

        本文提出了一种新的对抗性补丁形式,称为有意义的对抗性贴纸,通过一种基于查询的黑盒攻击来实现。该方法不像传统的对抗性贴片那样生成对抗性扰动模式,而是利用现实生活中存在的真实的有意义的贴纸,通过控制贴纸在物体上的粘贴位置和旋转角度来进行物理攻击。与扰动引起的性能相比,当攻击从数字域转移到物理世界时,由贴纸的位置和旋转角度引起的攻击性能更容易维持(见3.5节),而前面提到的损失函数(EOT、TV和NPS损失等)并不是必需的。此外,在生活中经常会看到在物体上贴上彩色贴纸的情况(如图1所示),这种攻击方式看起来自然而隐蔽,不易引起人的怀疑。此外,针对真实的场景中获取信息有限的情况,设计了一种基于查询的方法,有效地搜索到可用的参数。从而实现了物理黑箱攻击。

        从技术上讲,为了寻找合适的攻击参数,我们将这个过程形式化为一个优化问题,并使用进化方法来解决它,在迭代进化过程中遵循“适者生存”的原则。考虑到实际场景中的查询限制,我们设计了一种新的基于区域的启发式差分进化算法(RHDE),以提高效率。我们发现,成功攻击的贴纸的位置显示出区域聚集。在此基础上,RHDE结合近亲繁殖和随机交叉产生后代,并自适应调整评价标准,以更好地指导搜索方向。设计了一种贴图变形计算方法,使贴图的形状逼真地适应人脸不同位置的曲率变化。该方法首先在人脸识别上得到验证,然后扩展到图像检索和交通标志识别任务中。综上所述,本文有以下贡献:

我们提出了有意义的对抗贴纸,一种新的对抗补丁方法,具有良好的实用性。我们操纵的融合操作和参数的真实的贴纸的对象,而不是像大多数现有的作品设计扰动模式。实验表明,该方法具有良好的从数字域到物理世界的可移植性。

·我们专注于对基于DNN的视觉系统的黑盒物理攻击,并进一步设计了基于区域的启发式差分进化(RHDE)算法,以提高查询效率。我们发现,成功攻击的贴纸的位置显示出区域聚集。RHDE充分利用了这一现象,能够根据种群的状态自适应地调整进化方向。

·我们在三个任务上验证了所提出的方法:人脸识别,图像检索和交通标志识别。对于人脸识别,在物理环境中的实验结果表明,它可以自然地保持在不同的物理条件下的攻击效果,最多98.46%的视频帧可以成功攻击,而不断改变的人脸姿态。对于图像检索和交通标志识别,我们的方法也表现出良好的推广性。

二、RELATED WORK

2.1数字攻击

        Box-constrained L-BFGS [4],C&W [16],Deepfool [17]等通过优化机制进行攻击。经典的攻击方法FGSM [5]是基于DNN的梯度信息的一步方法。PGD [18]是一种多步迭代方法,使用负损失函数的投影梯度下降来生成对抗性示例。不是在整个图像上生成噪声,[19]探索了允许噪声可见但仅限于图像的小的局部补丁的情况,而不覆盖图像中的任何主要对象。上述方法在白盒设置中进行,其中攻击者可以访问威胁模型的结构和权重。黑盒攻击不需要模型的详细参数。对于基于转移的方法,为一个模型生成的对抗性示例可以转移到另一个模型以实现成功的攻击[20],[21],[22],[23],[24]。对于基于分数的方法,目标模型预测的概率是已知的,并且在这种设置中经常使用梯度估计[25]和随机搜索[26],[27]等方法。此外,基于决策的方法适用于仅知道最终模型决策的限制性更强的场景[28],[29]。Dong等人[7]在这种情况下对人脸识别系统进行数字攻击,并对求解方向的局部几何进行建模,以提高效率。以获得与真实标签不同的类别为目标的攻击称为非目标攻击(或人脸识别中的躲避),而针对特定类别的攻击称为目标攻击(或人脸识别中的模仿)。在我们的案例中,我们进行黑盒攻击,并专注于更实际的物理攻击。

        物理攻击因其巨大的应用价值而发挥着越来越重要的作用。为了在物理世界中提供对抗性的例子,已经提出了许多工作。具体来说,Kurakin等人。[30]通过相机捕获的扰动图像仍然具有攻击效果的事实验证了物理攻击的可行性。在[15]中,EOT算法使得对抗补丁对于多个物理变换是鲁棒的。

        对抗补丁[6]是物理攻击的主要形式之一,已经成功地应用于许多计算机视觉任务中,如自动驾驶、人脸识别、目标检测等。我们给出详细的描述如下:

        对于人脸识别案例,最初的攻击是以2D打印的人脸照片或3D面具的形式进行的[31]。后来,一些研究人员生成了带有附加扰动的眼镜框架,以欺骗人脸识别系统[8],[10]。Zhou等人[32]通过使用红外线扰动照亮面部的帽安装LED设备进行攻击。Adv-Hat [9]通过将带有对抗性扰动的矩形贴纸粘贴到帽子上来实现攻击。对抗性光投射攻击[33]将变换不变的对抗性模式投射到人的脸上。一些其他方法[34],[35]粘贴黑色和白色补丁与攻击效果到脸上或可穿戴配件。

        对于自动驾驶任务,Eykholt等人。[36]使用鲁棒物理扰动来生成在物理条件下鲁棒的对抗性涂鸦。[37]提出了放置在摄像机透镜上的物理半透明贴片,这导致在正确识别其他物体的同时无法检测到停车标志。在[38]中,作者将物理世界的对抗性示例制作并伪装成自然风格,这些风格对人类观察者来说似乎是合理的,可以构建对抗性交通标志。[39]、[40]中还提供了几项考虑自动驾驶安全性的相关研究。

        对于目标检测任务,[41]将物理攻击扩展到更具挑战性的目标检测模型,并提出了“消失攻击”。[13]中的工作使用对抗补丁来隐藏人以避开人检测器。对抗性T恤[14]可以在T恤上应用可变形的对抗性贴片来欺骗人检测器。Wu等人[42]详细研究了使用印刷海报和可穿戴服装的物理世界攻击,并使用不同的度量标准量化了它们的表现。

        在我们的方法中,我们提出了另一种对抗补丁,它使用了我们生活中实际存在的真实的贴纸。提出的对抗性贴纸通过改变真实的贴纸的粘贴参数而不是补丁的扰动来进行黑盒攻击,因此不需要生成或打印,这在物理上是可行的和隐身的。

三、 METHODOLOGY

3.1Problem formulation

在人脸识别任务中,给定一个干净的人脸图像x,对抗攻击的目标是使人脸识别模型预测出受扰动的人脸图像xadv的错误身份。形式上,具有对抗贴片的扰动面可以用公式表示为Eq.(1)式中,λ是Hadamard乘积,λ x是对抗扰动。A是一个遮罩矩阵,用于约束面片的形状和粘贴位置,其中粘贴区域的值为1。

以前的方法主要是优化带有前缀A的x。相比之下,我们的方法不会生成x,而是选择我们生活中现有的贴纸作为x。当选择了贴纸时,A的形状是固定的。在接下来的章节中,我们将展示如何获得A在面部的最佳粘贴位置,以执行对抗性攻击。

3.2 Regional aggregation

        在介绍详细的方法之前,我们首先探讨了粘贴位置对人脸识别任务的影响。在这样的场景中,活体检测主要依赖于面部的运动(例如眨眼,张嘴),深度或纹理特征[43],通常用于确认对象的真实的生理特征,并抵抗照片,面具和屏幕重拍等攻击。为了确保自然的外观并且不干扰活体检测,贴纸的粘贴位置不能覆盖面部特征。因此,使用有效区域(如脸颊和前额)为1,无效区域(如眼睛和嘴巴)为0的人脸模板矩阵MF ∈ Rn×m来约束贴纸的候选粘贴区域.

        我们分别从LFW和CelebA数据集中随机选择1000张图像,并使用图2中的第一个贴纸,然后通过穷举方法遍历每个有效的粘贴位置来查询FaceNet [44]模型。研究发现,成功攻击的位置并非离散分布,而是呈现聚集现象。在两个数据集上所有可以成功攻击的人脸中,具有聚类位置的人脸分别占96.5%和97.8%,其中58.7%和61.2%仅聚类在一个区域(如图3(a),(B)),37.8%和36.6%具有多个聚类区域(如图3(c))。我们还分析了以t值最大的点为中心o *,随机选择一个方向向外传播时,攻击后地面真实标签∞和预测错误标签t的概率变化。在o附近的小范围内,t的概率随着到o的距离的增加而减小,而t的概率的趋势则相反。图3显示了几个示例。

        这一现象启发我们以启发式的方式来搜索最优位置,即,继续搜索先前可用位置周围的下一个位置。这样可以提高搜索攻击参数的效率。基于这一思想,设计了一种基于区域的差分进化算法。

图3.反映成功攻击的位置的区域集合的示例。最上面的一行显示了这些位置的分布,最下面的一行显示了地面真实标签t和预测错误标签t的概率与到中心的距离的关系。

3.3 Region based Heuristic Differential Evolution(基于区域的启发式差分进化算法)

        设f(·)表示人脸识别模型,f(x,t)表示模型预测人脸图像x为标签t的概率。θ =(θ1,...,θi,...,θd)是攻击参数(包括粘贴位置、旋转角度等)的集合。给定x的地面真实标签t和真实的贴纸图像s,躲避(无目标)攻击的目标是找到最佳攻击参数θ,以使对应于t的概率尽可能小,从而将与t不同的人视为顶1身份。因此,躲避攻击的目标函数可以形式化为:

其中g(x; s,θ)表示根据θ变换贴纸s并将获得的贴纸与面部组合之后生成的新面部图像。

对于模仿(有针对性的)攻击,给定目标身份,目标函数定义如下:

        由于我们无法获得f(·)的具体参数,因此我们通过查询模型来执行基于分数的黑盒攻击,以获得预测的标签和概率。尽管梯度估计[25]可以解决沿着梯度下降方向的优化问题,但在我们的情况下,由于无效位置,位置参数的范围是不连续的。因此,目标函数是不连续的,并且它们相对于参数的平滑度也是未知的,因此不适合使用基于梯度的方法来优化方程。(2)和等式(3)、因此,我们采用一种进化的方法,从搜索空间中随机产生的一组解出发,利用交叉和变异产生子代,使其按照评价准则适者生存,最终在迭代进化过程中找到合适的解。

        但是,由于没有充分考虑人脸识别场景的特点,直接使用传统的进化算法效率不够高。为此,本文提出了一种新的基于区域的启发式差分进化算法(RHDE),以加速求解。在此基础上,设计了一种新的子代攻击策略,该策略利用了攻击有效位置的区域聚集性。为了更好地引导搜索方向,我们还采用了一种自适应的评价准则调整方法,根据解的当前状态及时调整攻击目标。以躲避攻击为例,在算法1中概述了整个RHDE算法。详细情况如下所示。

3.3.1 Attack setting

在进化方法中,种群代表一组多个解向量,种群中的每个个体代表一个解向量。给定种群大小P和要求解的攻击参数的数量d,第k代种群X(k)表示为:

其中Xij(k)是第k个群体中第i个个体的第j个参数值。是第j个参数的变化范围。具体来说,群体中的每个个体都代表一个包含粘贴位置、旋转角度等的元组。在每次迭代中,通过父群体中个体之间的交叉和变异形成新的后代。根据评价标准,从子代和亲本中选择更好的个体来创建下一代(新的解决方案)。

        在算法1中,我们首先在保证每个个体的参数都在相应的取值范围内的前提下,随机初始化种群X(0)(步骤1)。然后,我们在迭代进化过程中生成候选种群C(k)(步骤7)。基于评价准则J(θ),在C(k)和X(k)之间选择较优个体,形成下一代X(k+1)。当使用当前群体中的最优个体作为攻击参数的攻击成功时(步骤4)或者当达到最大迭代次数T时,该过程停止。

3.3.2 Strategies for the offspring’s generation(后代世代策略)

        在我们提出的算法中,我们使用随机个体之间的交叉和上级个体的近亲繁殖来产生候选种群C(k)。第一种方法遵循传统的进化算法,并且可以形式化如下:

        其中Ci(k)是第k个候选群体中的第i个个体。γ1,γ2是随机数。γ表示X(k)中最佳个体的指数,γ = γ1 = γ2。α是比例因子,并且clip(·)是用于将个体保持在等式4中描述的范围内的裁剪操作。

        由于具有对抗效应的解往往聚集在参数空间的某个区域内,我们提出了一种近亲繁殖方法,在每代上级解附近的区域内寻找解,以加快求解过程。具体地说,当前群体中的上级个体首先被选择(以μ的比率)。φ <$Xi(k),j,l <$定义为以个体Xi(k)中的位置为中心,以第j个方向的步长l取出位置参数,与Xi(k)中的其余参数一起形成新个体的运算。在上级个体周围的r个方向上应用φ(即1 ≤ j ≤ r),并选择每个上级个体周围的损失函数最小(对目标函数最满意)的个体作为后代。公式定义如下:

将这两种方法结合起来,一方面利用近亲繁殖的有效解的区域聚集性,另一方面通过随机方法产生更多样的解,避免了近亲繁殖可能陷入的局部最优。

3.3.3 Adaptive adjustment ofthe evaluation criteria(评价标准的适应性调整)

        解决问题的过程可以看作是一个探索-利用的过程。对于评价标准J(θ)(越小越好),它评价群体中个体的不适应性,它通常等于目标函数L(θ)的值(步骤1)。对于躲避攻击,我们设计了一个自适应策略来调整评估标准(步骤8-13)。在初始阶段,没有选定的目标身份,因此我们让J(θ)跟随L(θ)来降低地面真值标签t的预测概率,以便在参数空间中探索尽可能多的解。当种群进化到一个好的状态(即最优个体Cγ(k)对应的前1类t1和前2类t2的预测概率之差小于阈值δ)时,我们开始挖掘前2类t2的信息,并将求解方向转换到提高t2的预测概率上。将f(g(x; s,θ),t)代入ft(θ)后,判断种群是否达到良好状态的指标公式为:

选择t2作为提示对象τ,则J(θ)更新为:

其中ρ是比例因子。该准则减小了提升类与地面真值类之间的概率差,提高了提升目标的预测概率,加快了攻击参数的求解速度。通过上述J(θ)判断候选种群C(k)和当前种群X(k),选出较好的个体形成下一代X(k + 1)(步骤14)。对于冒充攻击,其解决目标是明确的,即提高指定目标身份的概率。因此,不调整准则(即省略步骤8-13),解总是沿着目标身份概率最大化的方向。

3.4 The generation of adversarial stickers(对抗性贴纸的生成)

        在指定攻击参数后,我们对贴纸进行相应的变形,以更逼真地模拟贴纸在面部上的效果,使其形状符合当前位置的面部曲率。我们首先使用3DMM方法[45]生成给定2D人脸图像的3D模型,并获得与人脸位置对应的3D坐标。然后利用粘贴区域的最高点(x 0,y 0,z 0)所在的X-Z平面的信息进行弯曲变换,再利用(x 0,y 0,z 0)所在的Y-Z平面的信息在3D空间中旋转贴纸。形状转换的完整过程如图4所示。

图4.弯曲和旋转贴纸的过程(黄色圆点表示粘贴区域的最高点)。

对于弯曲变换,贴纸的Y轴坐标保持不变,我们在X-Z平面上对贴纸进行弯曲,最终得到大小为h × wn的贴纸A。点在X-Z平面上的投影可以近似为抛物线z = a(x−c)2 +B,其中c= x 0,a=− h/(xns)2,B=−a(wn−c)2,xns是任意长度,xns在Z轴上对应的长度是xns。上面变量的注释和视觉效果如图5所示。为了确保弯曲的粘贴物A的弧长等于原始宽度w,A的宽度wn满足:

基于抛物线公式,我们可以得到包含贴纸A上所有像素的3D坐标的矩阵MA ∈ R3×(h wn)。

采用双线性插值和反向映射的方法得到A中各点的像素值。设vp(i,j)表示图像p中位置(i,j)处的像素值,则贴纸A上的像素值计算如下

其中i ∈ [0,h),j ∈ [0,wn),gp(i,j)用于计算插值后图像p上的位置(i,j)对应的像素值。具体

其中x返回小于或等于x的最大整数。

对于旋转变换,Y-Z平面上的信息反映了贴纸的旋转角度θ,并且大部分贴纸区域的θ近似于整个贴纸的θ。θ y表示任意长度,θ z是Z轴上的相应长度,则θ计算如下:

其中θ、θ y、θ z等在图5中标出。在计算角度之后,弯曲变换之后的贴纸在3D空间中旋转。具体地,令MB表示由旋转后的每个点的坐标形成的矩阵,

根据MB中的X和Y坐标信息,可以通过使用等式11中的双线性插值来获得完全变形后的贴纸的2-D图案。

图5.贴纸图案的变换过程。最上面一行是变形中涉及的变量标注示意图,第二行是贴纸图案在二维X-Y平面上的变化,第三行是对应贴纸的立体图。

四、 EXPERIMENTS AND RESULTS

目标模型:我们选择三个代表性的人脸识别模型,CosFace [48],SphereFace [49]和FaceNet [44]作为我们的目标模型。开源模型123用于提取面部的特征表示。对于身份识别,我们使用该模型来获得人脸嵌入,然后在数据集中的所有身份中取其最近邻作为识别结果。对于分类,我们在上述开源模型之后添加了全连接层,然后在相应的数据集上进行微调。对上述模型进行了躲避攻击和假冒攻击。

数据集:我们在两个公共数据集上进行了实验:Labeled Faces in the Wild(LFW)4和CelebFaces Attribute(CelebA)5。LFW的所有5749个身份和CelebA的8192个身份都被用来构建自己的人脸数据库。我们从两个数据集中随机选择1000张图像进行攻击。在攻击之前,我们确保所有选择的干净图像可以正确识别的人脸分类和识别任务的模型。

度量:两个度量,欺骗率(FR)和欺骗数(NQ),用于评估攻击性能。前者是指所有测试图像中可以成功攻击的百分比,而后者是指成功攻击所需的模型查询数量。为了研究对人脸识别模块的有效性,如果人脸能够成功地通过人脸检测和活性检测,但被识别为错误的身份,则认为是成功的攻击。

实现:我们使用dlib库提取人脸的81个特征点,并填充有效区域生成蒙版MF。在我们的例子中,d等于2。θ1是指有效点的索引集合V:= θ(i,j)中的粘贴位置的索引|MF ij =1 θ,θ2为旋转角度。我们设r等于8。默认值l等于1,如果已经访问了参数空间中的相应点,则l会增加。

此外,我们还参考了[50]中的设置和方程的α设置。(5)至0.5。为确保等式中两项之间的平衡,(8),我们设ρ = 20。对于最大迭代次数T,我们根据经验将其设置为30。对于种群规模P,我们分别将其设置为80、100、120和140,并进行了一些简单的验证,发现当P从120增加到140时,成功率没有明显的提高。由于P的增加将引入更高的查询代价,因此在后续实验中我们设置P = 120。阈值δ是用来判断概率差是否达到一个较小的值,因此我们根据经验将其设置为一个较小的数值(即δ = 10)。

4.1实验结果

图8.使用不同贴纸的攻击示例。对于每个组,这三个图像对应于未被攻击的原始图像、攻击后的图像、以及对应于攻击后的预测错误类的图像。黑色文本表示预测的正确名称,红色文本表示攻击后预测的错误名称。

表1人脸分类任务的攻击结果。我们报告了在LFW和CelebA数据集上针对FaceNet,SphereFace和CosFace生成的对抗性示例的欺骗率(FR)和查询数(NQ)。

        首先,我们报告了我们的方法在LFW和CelebA上分别对FaceNet,SphereFace和CosFace的性能。我们使用三种不同的贴纸在人脸分类任务下进行躲避和模仿攻击,并评估愚弄率和查询次数。结果如表1所示,三组视觉示例如图8所示。对于模仿攻击,为了简单起见,我们使用每个面孔的前2个类作为目标类。

        从以上结果可以看出:(1)提出的有意义对抗贴纸方法在躲避攻击和冒充攻击中都表现出了良好的攻击效果,欺骗率分别高达81.78%和51.11%。(2)我们可以实现数百个查询的攻击,并且可以理解的是,模拟攻击需要比躲避攻击更多的查询,因为前者需要将图像扰动到特定的类。(3)在我们的攻击下,SphereFace在躲避和模仿攻击中都表现出很强的鲁棒性,而FaceNet相对脆弱。

        对于不同的贴纸,它们都可以实现成功的攻击,但表现出不同的攻击效果。具有彩色图案或某些面部特征的贴纸(例如贴纸2和贴纸3)显示出更强的攻击效果,特别是在闪避攻击的情况下。我们还统计了成功攻击时不同贴纸的粘贴位置,如表2所示。可以看出,在使用同一种贴纸时,不同位置的比例并没有表现出明显的差异,每个位置都保持在20%左右。但总的来说,眼睛之间的比例略高,下巴处略低。此外,这种现象在不同的贴纸上是一致的。

表2攻击成功时三种贴纸在不同位置的分布百分比。

4.2Comparisons with SOTA methods

表3黑箱环境下两种SOTA物理方法人脸识别系统的欺骗率和平均时间比较

        我们的方法和其他物理上可实现的攻击在LFW中的相同人脸图像上进行人脸识别的比较如表3所示。由于黑盒环境下的人脸识别不存在物理攻击,因此在计算之前方法的性能时,只能使用白盒环境下生成的对抗样本进行基于转移的黑盒攻击。虽然基于分数的黑盒攻击也可以通过梯度估计来进行,但这是不现实的,因为大面积像素梯度的估计需要大量的模型查询。我们在这里选择advhat [9]和adv-glasses [8],它们在白盒设置中具有出色的性能。对于我们的方法,我们使用粘贴贴纸2躲避攻击的结果与其他方法进行比较。表3中的结果表明,我们的方法在攻击不同的网络时,可以在更短的时间内达到更好的攻击效果。它比adv-hat和adv-glasses的性能分别提高了83%和85%,而攻击每张图像的平均时间分别减少了78%和86%。图9给出了我们的方法与adv-hat [9]和adv-glasses [8]之间的定性比较。

图9.针对FR系统,将我们的有意义的Adv-sticker与其他攻击方法(Adv-hat [9]、Adv-glasses [8]、[10])进行比较。我们的方法使用真实的贴纸,而不依赖于生成的扰动图案和印刷的附件。

4.3Ablation study

表4消融研究的愚弄率(FR)和质询次数(NQ)。在LFW数据集上获得了使用贴纸2进行躲避攻击的结果。

4.4物理世界中的攻击

图10.在物理环境中攻击前后,地面实况标签的预测概率。垂直线旁边的数字表示每个模型上的概率差异。

图11.显示在物理环境中不同面部姿势的攻击效果的示例(非目标攻击)。右侧的黑色文本表示攻击后预测的错误名称。

表5不同被试在物理环境中连续改变面部姿势时成功攻击的视频帧百分比。

4.5Robustness ofmeaningful adversarial stickers

对抗训练后的愚弄率(FR)和查询次数(NQ),以及与未防御情况相比的变化(括号中显示)。在这里我们使用贴纸2对LFW进行闪避攻击。

http://www.xdnf.cn/news/6519.html

相关文章:

  • A2O娱乐李秀满纪录片首映礼,A2O MAY、少女时代、崔始源、泰民齐聚祝贺
  • 脚本语言Lua
  • 使用PEFT库将原始模型与LoRA权重合并
  • 视频分辨率增强与自动补帧
  • ‌JMeter聚合报告中的任务数和并发数区别
  • 【HarmonyOS 5】鸿蒙mPaaS详解
  • MySQL 开发的智能助手:通义灵码在 IntelliJ IDEA 中的应用
  • Python网络请求利器:urllib库深度解析
  • 单片机-STM32部分:16、Git工具使用
  • 计算图存储采用矩阵吗,和张量关系
  • linux libdbus使用案例
  • 15.springboot-控制器处理参数传递
  • 2025年山东省数学建模F题思路
  • PostgreSQL MCP 使用案例
  • 动态规划问题 -- 多状态模型(买股票的最佳时机II)
  • Vue组件-霓虹灯:技术解析与实现
  • OpenCV CUDA模块中矩阵操作-----矩阵最大最小值查找函数
  • 产品销量数据爬虫通用模板
  • js关于number类型的计算问题
  • msf安卓远控木马手动捆绑正常apk
  • LLM中最后一个位置的对数概率是什么? 怎么作为LOSS实现方式
  • C++23 新特性:ranges::contains 与 ranges::contains_subrange
  • 线代第二章矩阵第九、十节:初等变换、矩阵的标准形、阶梯形与行最简阶梯形、初等矩阵
  • RPA 自动化实现自动发布
  • 基于matlab实现AUTOSAR软件开发---答疑6
  • 瓶装燃气送气工考试的实操考核内容有哪些?
  • Python训练营打卡 Day26
  • Git - 1( 14000 字详解 )
  • 动态库和静态库的区别
  • 攻击溯源技术体系:从理论架构到工程化实践的深度剖析