Web攻防-大模型应用LLM安全提示词注入不安全输出代码注入直接间接数据投毒
知识点:
1、WEB攻防-LLM安全-API接口安全&代码注入
2、WEB攻防-LLM安全-提示词注入&不安全输出
Web LLM(Large Language Model)
攻击指针对部署在Web
端的AI
大语言模型的攻击行为。攻击者通过恶意提示词注入、训练数据窃取、模型逆向工程等手段,操控AI
输出敏感信息或执行危险操作。
复盘文章
https://mp.weixin.qq.com/s/6SVInWxwJ34ucjqNYPp3fw
https://mp.weixin.qq.com/s/CbJf3Tr9sy8U1r0T5xv1yg
一、演示案例: WEB攻防-LLM安全-API接口安全&代码注入
1、API接口使用
利用已知的API
接口完成RCE
操作
2、远程通讯利用
关注到有利用的远程调用,尝试写入管道命令等,是否会带出
二、演示案例: WEB攻防-LLM安全-提示词注入&不安全输出
1、提示词注入
Prompt Injection
漏洞是指攻击者通过精心设计的输入操纵大型语言模型(LLM
),导致LLM
无意中执行攻击者的意图。这种攻击可以是直接的,例如通过“越狱”系统提示;也可以是间接的,通过操纵外部输入来实现。成功的提示注入攻击可能导致数据泄露、社会工程攻击等多种后果。
直接方式(Directly)
譬如直接通过向聊天机器人发送想问的信息,问什么聊天机器人就回答什么,没有任何限制。
项目:https://github.com/kk12-30/LLMs-PromptAttacks
间接提示注入
提示词注入靶场
https://gandalf.lakera.ai/
可以利用这个项目进行绕过:https://github.com/kk12-30/LLMs-PromptAttacks
参考:https://mp.weixin.qq.com/s/sT9TxOR7jC5U4tHPRFT9WQ
2、不安全的输出处理
不安全的输出处理指的是在将LLM
生成的输出传递给下游组件和系统之前,对其进行的验证、清理和处理不足。这可能导致跨站脚本攻击(XSS
)、服务器端请求伪造(SSRF
)等严重后果。
"<img src=1 onerror=alert(1)>"