论文略读：Does Refusal Training in LLMs Generalize to the Past Tense?

ICLR 2025 1688

拒绝训练被广泛用于防止大型语言模型（LLMs）生成有害、不良或非法的内容。我们揭示了当前拒绝训练方法中的一个奇特的泛化缺口：仅仅将一个有害请求改写为过去时（例如，将“How to make a Molotov cocktail?”改为“How did people make a Molotov cocktail?”）通常就足以破解许多最先进的 LLM。

我们在多个模型上系统地评估了这一方法，包括 Llama-3 8B、Claude-3.5 Sonnet、GPT-3.5 Turbo、Gemma-2 9B、Phi-3-Mini、GPT-4o-mini、GPT-4o、o1-mini、o1-preview 和 R2D2，使用 GPT-3.5 Turbo 作为改写模型。例如，在 JailbreakBench 的有害请求上，使用直接请求对 GPT-4o 的攻击成功率为 1%，而使用过去时态改写后尝试 20 次，成功率上升至 88%，评判模型为 GPT-4。

有趣的是，我们还发现，将请求改写为将来时的效果不如过去时，这表明拒绝机制更倾向于认为历史性问题比假设性的未来问题更无害。

此外，我们在 GPT-3.5 Turbo 上的微调实验表明，当微调数据中明确包含过去时态的样本时，是可以防御这类改写攻击的。

总体而言，我们的研究发现强调，目前广泛使用的对齐技术（如监督微调 SFT、人类反馈强化学习 RLHF、对抗训练）可能存在脆弱性，无法如预期那样实现泛化。我们在 https://github.com/tml-epfl/llm-past-tense 提供了代码和越狱相关内容。