“人工智能+”的新范式：应用赋能与风险应对
文章目录
- 前言
- 一、人工智能技术助力网络安全（AI for Security）
-
- 1、正确认知AI各种算法的能与不能，精准匹配场景与算法
- 2、垂域模型落地，数据质量是生死线
- 3、亟需建立人工智能应用效能测试指标体系
- 4、大模型应用是一个持续优化的过程，而非一蹴而就的项目
- 二、人工智能/大语言模型自身的安全（Security for AI）
-
- 基础/系统层（Infrastructure Layer）
- 供应链攻击
- 计算资源滥用
- 横向移动
- 防护策略包括
- 数据层（Data Layer）
- 训练数据投毒（Data Poisoning）
- 隐私泄露
- 防护策略包括
- 模型算法层（Model Algorithm Layer）
- 对抗性样本（Adversarial Examples）
- 模型窃取（Model Stealing）
- 模型逆向（Model Inversion）
- 防护策略包括
- 应用/输出层（Application/Output Layer）
- 提示注入（Prompt Injection）
- 越狱（Jailbreaking）
- 生成式滥用（Generative Misuse）
- 过度依赖（Over-reliance）
- 防护策略包括
- 总结
前言
近年来，以大型语言模型（LLM）为代表的人工智能技术取得了突破性进展，驱动了全球范围内的新一轮应用创新高潮。上周，国家层面出台“人工智能+”行动政策，更是为这场技术革命注入了强劲的政策动能。各行各业正积极寻找落地场景，验证人工智能的有效性。网络安全领域，作为兼具高技术性与高对抗性的前沿阵地，自然成为“人工智能+”的核心战场。
必须以辩证的视角看待这一趋势：一方面，我们需积极探索人工智能技术对网络安全的赋能（AI for Security）；另一方面，也必须严肃审视人工智能自身引入的安全风险（Security for AI）。本文将基于近两年的实践与思考，从这两个维度展开论述。
一、人工智能技术助力网络安全（AI for Security）
人工智能并非万能钥匙，其有效性高度依赖于场景、数据与人的协同。在网络安全领域盲目追求“AI神话”，必将导致投入浪费和效果失望。
1、正确认知AI各种算法的能与不能，精准匹配场景与算法
近年来大模型的出现并非取代了所有传统AI算法，而是扩展了AI的能力边界。须建立清晰的认知地图：
大模型（LLM）的能与不能：LLM其核心能力在于对自然语言、代码等非结构化数据的深度理解、生成和逻辑推理。这使得它在安全领域比较适合安全运营中心（SOC）的告警研判与自动化报告生成、恶意软件的行为描述与分析、合规性检查与策略文档管理、网络钓鱼邮件的语义识别以及面向内部员工的智能安全问答助手等场景。然而，它并不擅长需要极高精确度和确定性的实时、低层级检测（如基于字节序列的恶意软件检测）。
网络安全很多场景已经采用了AI多元算法的集合，已知的传统/专用AI算法的适用场景包括：
采用无监督学习（如聚类、异常检测）作为用户实体行为分析（UEBA） 和网络流量异常检测（NTA）的基石，用于发现未知威胁和内部人员异常。
采用监督学习（如分类、回归）算法，基于历史标签数据，广泛应用于垃圾邮件过滤（贝叶斯算法仍是经典）、恶意软件家族分类（图像分类模型可用于灰度图像化后的样本分类）、威胁情报关联分析（图神经网络GNN）等。
基于强化学习在动态防御（如移动目标防御MTD）和自动化渗透测试中展现潜力，让AI智能体在与环境的交互中学习最优攻防策略。
因此，成功的“AI+安全”方案，可能是“LLM（处理非结构化、认知任务）+ 传统AI（处理结构化、精确任务）+ 规则引擎（处理确定性逻辑）”的融合体系，而非LLM的一枝独秀。
2、垂域模型落地，数据质量是生死线
引入第三方安全垂域大模型或AI解决方案时，企业常陷入“模型一流，效果三流”的困境。其核心瓶颈往往在于数据，且远不止于“数据质量”四个字这么简单：
1. 数据一致性（Schema Alignment）：
垂域模型在训练时，其输入数据具有特定的字段名称、类型、格式和语义内涵（如src_ip代表源IP）。若企业日志的字段命名不规范（如有的叫source_ip，有的叫ip_source）、类型错误（IP存成了字符串而非整型）、或语义缺失（日志未记录关键进程信息），模型就无法正确理解和处理。这要求企业在数据接入阶段