Datawhale AI夏令营 「2025全球AI攻防挑战赛-赛道一：图片全要素交互认证-生成赛」的赛事项目实践

这次比赛是：「2025全球AI攻防挑战赛-赛道一：图片全要素交互认证-生成赛」

本次比赛的挑战在于，需要利用不同的模型和算法，生成高度逼真的AI伪造图片。每一个子任务都有其独特的难点：

• AIGC图片生成 ：模型的挑战在于如何准确理解复杂的文本描述（Prompt），并生成出既美观又真实的图片。

• 自然场景图片编辑 ：编辑后的内容需要与原图在光影、透视和纹理上完美融合，不留痕迹。

• 视觉文本编辑 ：修改后的文字必须与原图中的文字在字体、大小、光影、背景融合度等方面保持高度一致，这要求模型具备强大的文字渲染与融合能力。

• Deepfake ：需要将源人脸的身份特征自然地迁移到目标人脸的表情、姿态和光照环境中，避免出现不自然的面部边缘或肤色差异

一.Baseline方案分析

baseline方案优点与不足

在现有的Baseline方案基础上，可以尝试以下方法来进一步提升生成图片的质量：

• Prompt 优化 ：在AIGC图片生成任务中，Prompt是控制生成效果的关键。可以尝试添加更多细节描述词，比如“超高分辨率”、“电影级别光影”、“细节丰富”等，来引导模型生成更高质量的图片。

• 模型与API选择 ：使用功能更全面的商业API，例如通义万相。这些模型在图像质量、细节丰富度和语义理解方面可能有更好的表现。

baseline方案修改思路

Baseline方案选择了成熟且易于集成的开源模型（如CogView4）和传统方法（如基于Dlib+OpenCV的换脸），这使得初学者能够快速理解和运行代码，作为参赛的起点。

方案中的模型和方法都是通用型的，没有针对各个子任务的特定难点进行深度优化。例如，在 视觉文本编辑 任务中，它没有专门处理文字在复杂背景下的融合问题；在 Deepfake 中，传统方法在处理非正面、光照复杂的人脸时，融合效果往往僵硬，有明显的拼接痕迹。

比赛的最终评分是基于主观视觉判断和客观指标的综合考量，但我们可以在本地模拟一个评估机制，帮助我们筛选出更好的生成结果。如下为一些参考指标：

• Prompt一致性（Semantic Consistency）： 图片是否准确表达了Prompt的语义。可以使用 CLIP Score 或其他视觉-语言模型来计算图片和Prompt的匹配程度。

• 图像质量（Perceptual Quality）： 图片的清晰度、美观度和真实感。可以使用 FID（Frechet Inception Distance）或LPIPS（Learned Perceptual Image Patch Similarity） 等指标来评估。

• 身份一致性（Identity Preservation）： 替换后的人脸是否保留了源人脸的身份特征。可以利用 人脸识别模型 来提取并比对源人脸和生成人脸的特征向量距离。

• 表情/姿态迁移（Expression & Pose Transfer）： 新人脸是否保留了目标人脸的表情和姿态。这可以通过比较 面部关键点 或 3D姿态估计 来量化。

不要局限于一个模型。对于同一个Prompt，可以同时使用多个不同的模型或API（如SDXL、通义万相等）进行生成。利用本地评分函数对这些生成结果进行评估，选择得分最高的图片作为最终提交结果。这就像在进行一场小型的“模型A/B测试”。

二.优化方案：

对于AIGC图像生成正在使用Stable diffusion XL优化，但是生成的效果不佳；对于tie和vttie任务，还没有得到更好的想法；对于deepfake任务，正在传统图像模型进行优化。