当前位置：首页 > news >正文

Gartner发布2025年AI与网络安全成熟度曲线：用AI增强网络安全计划的27项技术与创新

news 2025/8/19 14:13:25

人工智能与网络安全早已交织，而生成式人工智能更是加速了这一变革的步伐。这份技术成熟度曲线助力首席信息安全官 (CISO) 利用人工智能创新来增强网络安全计划，并通过强有力的安全指导更有效地支持人工智能计划。

战略规划假设

到 2029 年，超过 50% 针对人工智能代理（国内称智能体）的成功网络安全攻击将利用访问控制问题，使用直接或间接的提示注入作为攻击媒介。
到 2027 年，网络安全领域 90% 的成功人工智能实施将是战术性的（任务自动化和流程增强），而不是角色替代。
到 2030 年，由于 GenAI 准确度下降、技能流失和薪酬缺乏竞争力，一半的企业将在至少两个关键工作岗位上面临不可逆转的技能短缺。

需要知道什么

人工智能的炒作迫使网络安全领导者对尚不成熟的人工智能驱动型网络安全技术进行高风险投资，而这些投资往往更多是出于一时兴起而非切实可行的成果。因此，快速构建人工智能素养，了解需要保护的全新人工智能生态系统至关重要。人工智能素养还能支持强大的评估框架，并有助于防止对尚未得到验证的人工智能安全解决方案进行错误的投资。

与此同时，企业正在迅速扩大对人工智能项目的投资，鼓励员工采用生成式人工智能 (GenAI) 应用程序，并越来越多地采用人工智能代理。这包括试验和扩展定制人工智能应用程序，以及管理员工广泛采用的第三方人工智能应用程序以及现有企业应用程序中嵌入的人工智能功能。然而，在大型语言模型 ( LLM ) 和其他人工智能模型的推动下，企业对新兴人工智能功能、应用程序和代理的快速采用，超出了安全控制的成熟度，并对现有的最佳实践提出了挑战。

作为回应，网络安全领导者们接受了管理和保护这些人工智能计划的挑战，同时尝试了由LLM的使用所驱动的一系列新的网络安全功能。随着少数精选的人工智能计划投入生产，尚未解决的安全成熟度差距将不可避免地暴露新的攻击面，从而增加企业发生网络事件的可能性。网络安全领导者必须探索新兴的实践，以确保新的人工智能计划的安全，同时建立可持续的评估实践，以充分实现其投资的价值，并避免人工智能造成的投资浪费。

炒作周期

今年是人工智能和网络安全的首个技术成熟度曲线。它反映了首席信息安全官 (CISO )人工智能任务的双重性：一方面要适应由最新人工智能技术（例如基于文本的 LLM 或多模态基础模型）驱动的应用程序的大规模采用和创建，另一方面要提升网络安全团队的人工智能技能，使其从中受益。

Gartner 认为有四个主题可以说明网络安全与人工智能之间的复杂关系。

未能建立人工智能素养将导致投资浪费和安全漏洞

网络安全领导者无需成为人工智能专家，但他们需要提升技能，充分了解新兴人工智能应用的新攻击面。过去两年，这意味着他们要理解即时工程，包括如何缓解即时注射和幻觉，以及大语言模型（LLM）能做什么、不能做什么。从2025年到2026年，这意味着网络安全领导者必须迅速确定：

Agentic AI（代理型人工智能）对人工智能在网络安全中的真正意义是什么，可以识别“Agent清洗”并避免浪费投资，同时也理所当然地优先考虑现有企业应用程序中嵌入式智能体人工智能功能的安全性
为什么大大语言模型可能不够用，在评估网络安全领域的人工智能代理时可能需要调整他们的期望和要求
普遍存在的模型上下文协议（MCP）客户端和服务器的影响
难以捉摸的通用人工智能时间线是他们现在应该担心的事情，还是将其视为不可预测的未来事件

面对如此快节奏的变化，网络安全领导者应该考虑设立“AI冠军”职位，以帮助构建和维护强大的AI知识。AI冠军将是网络安全领导者在开发团队中运行的“安全冠军”计划的镜像。

专业的人工智能安全工具和实践不断涌现

许多人工智能安全技术正在出现，但尚未达到成熟阶段。人工智能信任、风险和安全管理（AI TRiSM）展示了人工智能风险如何超越网络安全，需要首席信息安全官和人工智能领导者之间的合作。AI治理平台、AI使用控制和AI运行时防御，支持SaaS AI应用的发现和监控，以及现有企业应用中嵌入的AI功能，实现AI网络安全治理。

GenAI 应用程序扩展了传统的攻击面。即使出现新技术，开发定制 AI 应用程序和 AI 代理的组织也必须继续利用现有的最佳实践，例如保护 AI 工程管道、构建软件物料清单（SBOM）以及在设计和自动化威胁建模中集成隐私增强技术。然而，定制的 AI 应用程序安全性也受益于更专业的实践，例如 AI 安全测试和 AI 安全态势管理（SPM）。

AI 安全测试技术自动创建和运行对抗性提示，通过评估应用程序的阻力来支持 AI 红队计划。AI 安全态势管理将传统的云安全态势管理工具扩展到 AI 工作负载。当参与开发周期的早期时，网络安全领导者可以强制要求良好的数据安全治理实践，并与 AI 团队合作，了解如何利用合成数据来最大限度地降低隐私和保密风险。开发人员工具还随着嵌入式 AI 助手的发展而发展，这些助手可以自动修复代码漏洞。

虽然组织专注于短期颠覆，但他们可能会错过长期变化，例如滥用人工智能技术可能会给其行业带来不利的副作用。例如，生物威胁可能需要新形式的安全实践，称为网络生物安全。

网络安全领域对人工智能的期望正在达到顶峰

人工智能消息传递的狂热，有时被称为“人工智能清洗”和“人工智能代理清洗”，正在网络安全的各个领域表现出来，技术提供商迅速将他们的信息从“网络安全人工智能助手”转变为“代理人工智能”。这进一步提高了人们的期望，承诺实现整个工作流程的完全自动化，人工智能安全运营中心（SOC）代理是这一新浪潮的旗舰代表。然而，所有这些声称的好处仍然非常不清楚，因为目前解决方案的范围和规模有限，而且长期价值主张基本上未经证实。在人工智能的这些应用中，人工智能在网络风险管理中的应用显示出实现文本处理自动化和加速评估的前景。这些新兴但未经证实的用例给成熟的高级分析技术蒙上了阴影，这些技术已经证明了其价值，例如基于机器学习的异常检测。

网络犯罪人工智能需要新的防御措施

恶意行为者正在利用 GenAI 进行社会工程、网络钓鱼和其他类型的欺诈（请参阅如何应对 2025-2026 年威胁形势）。网络犯罪人工智能最有影响力和最成功的形式是增强的个性化网络钓鱼模板，其中包括深度伪造视频和语音。目标个人还没有充分意识到这些攻击技术已经变得多么复杂。包括虚假信息安全在内的新兴安全实践需要应对这些新威胁，因为仅依靠新兴的、未经证实的技术（例如会议解决方案中的深度伪造检测）是不够的。

图 1：2025 年人工智能和网络安全的成熟度曲线

优先级矩阵

优先级矩阵将每项创新的效益评级与实现主流应用所需的时间进行了映射。虽然预计代理人工智能 (Agentic AI) 将在两年内实现主流应用，但大多数人工智能安全技术的进展却较为缓慢。这加剧了日益增长的攻击面与防御能力之间的差距。如果没有强大的数据治理，这种差距将对数据安全性和满足合规性要求的能力产生重大影响。

未来两到五年，网络安全领导者需要拥抱人工智能关键威胁管理 (AI TRiSM) 原则，并遵循行业框架，为有效的人工智能网络安全治理奠定基础，利用人工智能治理平台大规模管理定制的人工智能项目。部署更多战术技术将有助于弥补眼前的差距。例如，人工智能使用控制能够精细地发现影子人工智能，增强安全团队促进创新的能力，同时避免不加区分的阻断策略，避免引发更多、更隐蔽的未经批准的人工智能使用。

从长远来看，很难评估人工智能技术（例如自主人工智能、人工智能模拟或因果人工智能）的未来变化将如何影响网络安全，这进一步凸显了持续改进人工智能素养计划的必要性。随着炒作的尘埃落定，GenAI 在网络风险管理和安全运营中的价值将得到巩固，而人工智能安全测试、安全态势管理和运行时防御的演进将在更加集成的应用程序生命周期中使人工智能安全常态化。技术整合将是自然而然的结果，但这些技术需要持续的研究和创新才能达到预期。

2025年人工智能和网络安全优先级矩阵

效益	距离主流采用需要的时间
	2年内	2-5年	5-10年	超10年
转型	代理人工智能复合人工智能	AI代码安全助手	人工智能在网络风险管理中的应用	通用人工智能
高		人工智能治理平台 AI TRiSM 基于机器学习的异常检测软件物料清单合成数据威胁建模自动化	人工智能网络安全治理人工智能素养 AI运行时防御虚假信息安全模型上下文协议
中等		AI使用控制数据安全治理网络安全预测模型	AI网关人工智能安全测试 AI SOC代理人工智能SPM 网络安全AI助手会议解决方案中的 Deepfake 检测	网络生物安全
低			差分隐私

来源：Gartner（2025 年 8 月）

技术萌芽期

1、网络生物安全

效益评级：中等

市场渗透率：目标受众的1%至5%

成熟度：培育期

定义：网络生物安全是一门新兴学科，它将网络安全和生物安全的元素相结合，旨在防止合成生物产品的恶意使用，并确保用于生产此类产品的数字系统的安全。它既可以防御针对生物技术创新的网络威胁，也可以防御生物信息学基础设施中的漏洞。

为什么重要

核酸合成等生命科学领域的进步利用了人工智能和生物信息学等计算技术。这些系统和创新中的网络安全漏洞可能被攻击者利用，对企业造成损害，并通过影响其应用的患者或其预期干预的环境，影响化学、生物、放射和核 (CBRN) 安全。

商业影响

合成生物学的网络安全主要与生命科学领域的首席信息官和首席信息安全官息息相关，这些组织开展或参与合成生物学在制药、环境、农业、工业和其他领域的应用。它也与负责制定指导方针和法规以保障该领域活动的政府机构息息相关。疫情期间的攻击事件已充分体现了针对基础设施的攻击和知识产权盗窃的严重性，但针对合成生物学产品的攻击可能对组织、个人和环境造成更为严重的影响。

驱动因素

人工智能在合成生物学中的快速应用，加上人工智能的快速普及和对人工智能安全性的重视，引发了提高人工智能合成生物学安全性的举措。
与网络安全类似，该学科旨在保护应用合成生物学产品的组织和个人或环境。双方都面临的威胁包括：

o 通过恶意合成 DNA 序列对生物信息学基础设施进行成功的学术攻击，接管了分析此类序列的实验室计算机系统。

o 对旨在用于农业或环境用途的工程生物进行恶意修改。

o 与个人身份识别相关的 DNA 操纵，或更广泛地攻击以破坏、加密或泄露已开发和合成的生物学产品和制品。

各国政府对筛选合成核酸序列的监管要求日益严格。
新兴的网络生物安全举措将网络安全原则应用于合成生物学领域。例如，红队演练、负责任的信息披露、事件响应和补丁修复。核酸序列混淆既被认为是一种隐私保护工具，也被认为是一个潜在的安全问题，因为它可能会妨碍正确的筛选。
疫情期间，针对制药和医疗保健领域研究实验室的网络攻击凸显了加强保护的必要性。

障碍

网络生物恐怖主义场景可能被认为不太可能发生或遥不可及。除了实施此类攻击所需的先进知识外，生物学不分国界，且具有自我维持能力，因此攻击者可能不太愿意发动可能造成不可预见后果的攻击。
一些法规正在涌现，承认有必要将网络安全衍生的措施（例如软件供应链安全原则）应用于利用人工智能的合成生物学。然而，这些指导意见仍然宽泛而模糊，相关框架也正在制定中。这使得组织机构难以确定一套明确的最低限度措施。

2、人工智能网络安全治理

效益评级：高

市场渗透率：目标受众的1%至5%

成熟度：新兴

定义：有效的人工智能治理包括网络安全治理。人工智能网络安全治理确保公司政策和分配的授权适用于人工智能。它侧重于遵守已商定的政策、法规和行业标准的网络安全和风险管理框架，并与道德和诚信管理密切相关。它可能使用集中式人工智能治理平台或一系列专用工具来开展活动。

为什么重要

安全和风险管理 (SRM) 领导者（例如首席信息安全官 [CISO]）面临着挑战，需要跟上第三方 AI 工具的广泛快速部署以及定制 AI 应用程序的开发。作为其委员会职责的一部分，他们越来越多地负责确保适当的监督，以最大限度地降低网络安全风险，例如误用和滥用、数据泄露或因应用程序漏洞导致的违规行为。

商业影响

人工智能风险与人工智能网络安全风险之间存在重叠，这要求人工智能治理委员会成员明确职责范围和责任。人工智能网络安全治理建立了一个框架，旨在：

确保遵守网络安全标准（例如 NIST、MITRE、OWASP）
有效管理整个人工智能生命周期的网络安全风险
监督和实施人工智能网络安全控制

主要目标是避免“影子人工智能”，最大限度地减少人工智能计划的攻击面，并确保事件发生时的可见性和响应。

驱动因素

随着企业将 AI 项目推进到生产阶段，AI 团队面临着风险管理和风险缓解方面的挑战。SRM 领导者必须在项目公开之前评估网络安全风险和合规性。涵盖机器学习、自然语言处理、GenAI 和 Agentic AI 的 AI 缺乏统一的网络安全风险概况，需要 SRM 领导者根据具体的 AI 实施情况识别风险。Gartner 的 AI TRiSM 等框架阐明了可信度、道德规范和 AI 网络安全，有助于 AI 治理。
随着人工智能资金的正式化，SRM领导者们开始建立人工智能网络安全治理和控制机制。尽管人工智能被大肆炒作，但各组织仍然认可SRM领导者在政策执行、数据安全、隐私以及与人工智能相关的网络风险决策方面的专业知识。最初，SRM领导者可能很少参与人工智能治理，但运营风险管理需要积极参与并执行政策。
根据 Gartner 2025 年人工智能风险管理和使用网络安全创新调查，52% 的 CISO 负责组织范围的人工智能治理委员会，制定人工智能的网络安全风险管理策略和网络安全控制。
组织通常未能执行政策来遏制影子人工智能，例如未经授权的第三方人工智能 SaaS 使用。网络安全在审批工作流程、政策执行和用户培训中发挥着至关重要的作用，以确保人工智能的安全使用。SRM 领导者负责监督安全的人工智能开发，重点关注生成式人工智能应用程序和代理中的内置安全性和数据保护。
根据Gartner 2025年人工智能风险管理与使用网络安全创新调查，69%的组织怀疑或有证据表明员工正在使用被禁止的公共GenAI工具。此外，79%的组织报告称，员工使用企业批准的公共GenAI工具的行为不符合组织的AUP或AI政策。
AI治理平台正在不断发展，以支持AI项目的设计、集成、测试和部署，但目前尚不完善。专业的网络安全工具有助于监控模型和应用程序的异常情况，并防范诸如快速注入之类的攻击。AI治理的所有权仍然存在争议，SRM领导者经常在没有明确理由的情况下掌权，却要对网络安全漏洞负责。
人工智能治理原则通常缺乏发现、监控和执行，阻碍了网络安全控制的实施。有效的治理需要跨部门协作，SRM 领导者需要支持法务、合规、风险管理，而业务部门则需要承担人工智能网络风险。供应商在推销“人工智能治理”时，往往只提供有限的网络安全功能，导致买家购买的产品承诺过高。

障碍

人工智能治理组成部分（例如法律、网络安全、数据、IT）的归属存在混淆。SRM 领导者经常在没有明确理由的情况下承担人工智能治理角色，但仍需对网络安全漏洞负责。
组织制定的人工智能治理原则缺乏强有力的发现、监控和执行，限制了网络安全团队实施控制和执行政策的能力。
有效的人工智能治理需要大量的跨部门协作，SRM 领导者支持法律、合规、风险管理和其他负责人工智能网络风险的部门。
许多供应商将“AI治理”作为营销策略，提供有限的网络安全功能。其他产品则将网络安全和AI安全功能混为一谈，让买家感到困惑，并购买到言过其实、实际交付不足的产品。

3、会议解决方案中的 Deepfake 检测

效益评级：中等

市场渗透率：不到目标受众的1%

成熟度：新兴

定义：攻击者在企业会议解决方案平台（例如 Cisco Webex、Google Meet、Microsoft Teams 或 Zoom）的通话中使用合成/深度伪造的音频或视频内容来攻击员工。实时深度伪造检测解决方案会加入通话，分析音频和/或视频内容，并提醒参与者可能存在攻击。

为什么重要

攻击者现在可以轻松创建深度伪造内容。只需几分钟的参考音频即可创建目标的深度伪造声音。创建令人信服的目标面部深度伪造视频则更为复杂，但并非不可能。攻击者可以锁定组织高管，并结合社会工程学技术，利用深度伪造内容致电员工，意图诱骗他们执行恶意操作或破坏账户恢复工作流程。他们还可以加入董事会会议，进行商业间谍活动。

商业影响

事实证明，深度伪造技术对组织构成了威胁。2024年，一家跨国公司被人利用公司首席财务官的身份诈骗了2500万美元。这只是攻击者利用此类技术诱骗员工进行大额资金转账的几个案例之一。防御此类攻击的关键在于人为因素，但当员工误以为正在与高管通话时，他们很容易受到社会工程学攻击。其他用例包括攻击IT服务台以破坏账户恢复工作流程，或冒充高管加入董事会会议以窃取敏感信息。

驱动因素

使用能够制作深度伪造音频和视频的工具的门槛不断降低。
社会工程学作为一种攻击媒介，是一个没有简单解决方案的问题，而且它仍然是一种非常有效的攻击手段。它在针对组织的攻击中的使用持续增加，对企业网络安全构成持续风险。
Cisco Webex、Google Meet、Microsoft Teams 或 Zoom 等企业会议解决方案平台不提供原生集成的深度伪造检测功能。
越来越多的初创供应商推出了一些产品，让机器人作为参与者加入企业会议解决方案平台的通话，访问音频和视频流。然后，它们会对会议中出现的深度伪造音频或视频内容发出实时告警。

障碍

该技术尚未得到大规模验证。该领域的供应商都处于起步阶段；许多供应商仍在寻求融资，而其他一些供应商则正处于与设计合作伙伴合作并进行概念验证（POC）的阶段。
威胁的规模仍无法量化。虽然媒体报道了一些备受瞩目的攻击，但尚无数据显示该问题对组织的影响究竟有多大。这使得安全领导者在竞争激烈的优先事项中难以找到投资的合理性。
如果员工缺乏明确的补救指导，在收到深度伪造告警或尝试进行不当验证时挂断电话，深度伪造检测解决方案可能会给企业带来大规模运营中断的风险。不可避免的误报会加剧这一问题。
当前的解决方案并不能保护所有平台。虽然企业会议解决方案平台可以受到保护，但攻击者仍然可以通过 WhatsApp、FaceTime 甚至直接打电话联系员工。因此，仍然需要其他保护措施。

4、虚假信息安全

效益评级：高

市场渗透率：目标受众的1%至5%

成熟度：新兴

定义：虚假信息安全是一套技术和策略，可以处理虚假和误导性内容及叙述，帮助组织识别信任、保护其品牌并确保其在线形象。此类别中的功能涵盖深度伪造检测、假冒防范、声誉保护和叙述情报，以及基于反驳叙述和信息基础的缓解策略。

为什么重要

虚假信息利用虚假信息欺骗或误导受众，这些信息会省略或恶意篡改关键背景。恶意行为者会以组织机构为目标，操纵买家、左右政治观点、贬低品牌价值、降低股价并实施欺诈。如今，创建虚假内容并广泛传播的工具随处可见。虚假信息安全旨在通过结合多种技术来识别方法论上的信任，以应对这些威胁。

商业影响

虚假信息可被用作武器，针对某个组织或个人领导者。虚假信息可被付诸行动，损害品牌声誉，例如降低或扭曲品牌形象，最终导致收入损失。有针对性的虚假信息攻击也被用于针对组织实施欺诈。虚假信息影响多个业务职能和团队，包括高管领导、安全、公共关系、市场营销、财务和销售，这使得虚假信息安全成为组织安全战略的重要组成部分。

驱动因素

外部威胁行为者出于意识形态目的向组织发送虚假信息，作为网络攻击的一部分并实施欺诈。
对抗性人工智能的快速改进和进步使得辨别多媒体内容的合法性变得越来越困难。
Deepfake 视频充斥着社交媒体上的虚假信息。大型语言模型与 GenAI 语音克隆技术相结合，可以快速创建几乎任何声音都能令人信服的虚假信息内容。
通过机器人社交媒体账户网络大规模传播虚假信息以及大规模定制传播的能力进一步加剧了威胁。
安全团队越来越意识到，主动防御需要超越组织公共和私有基础设施的范畴。许多虚假信息攻击都是利用组织未管理的基础设施进行的，这些攻击的地点使得主动防御、清除和法律团队的响应变得复杂。
营销和公共关系团队认识到需要了解围绕组织的产品、服务、品牌和高管的情绪和任何叙述。
组织需要数字水印、内容验证和可证明媒体系统来快速准确地识别合法内容、操纵内容和 GenAI 创建的内容。
组织需要始终如一地可靠地了解他们在网上与谁打交道；这包括在招聘过程中准确识别候选人、员工、承包商、企业和客户的能力。
受监管行业的组织必须遵守“了解你的客户”(KYC) 要求。滥用 GenAI 创建内容的身份验证流程，可能会使组织面临严重的监管制裁。
账户接管或凭证泄露是许多组织面临的主要安全隐患。攻击媒介多种多样，包括使用 GenAI 创建的内容来欺骗语音或人脸生物识别身份验证，或欺骗账户恢复工作流程中使用的身份验证流程。一旦被认证为被识别的用户，恶意行为者就会采取恶意行动，例如植入勒索软件、窃取知识产权、盗窃资金以及传播虚假信息。

障碍

许多组织仍在努力理解和量化虚假信息带来的风险。制定主动的安全计划仍然是市场中的新兴趋势。
这一类别的防御技术正在兴起；然而，日益增长的市场炒作可能会破坏、混淆和复杂化组织打击虚假信息的战略。
用于主动标记和识别 GenAI 在线内容的新兴标准（例如内容来源和真实性联盟 (C2PA) 制定的标准）仍在最终确定中。可靠且稳健的实施仍需时间。
新技术前景光明。然而，其成熟度和对抗日益复杂的对手的有效性仍有待观察。许多新兴解决方案仍针对特定用例。
一些组织仍然不明白，主动安全需要超越自身范围来制定有效的防御策略。
检测发生某些虚假信息攻击的领域（例如在语音或视频通话应用程序中实时模仿组织高管）是一项技术挑战，因为许多平台都是封闭的环境。

5、人工智能治理平台

效益评级：高

市场渗透率：目标受众的1%至5%

成熟度：新兴

定义：AI治理平台提供AI应用程序、代理以及企业中每个独特用例的集中视图。它根据政策、法规和行业标准等公认的框架衡量绩效。除了集中用例存储库外，它还整合风险管理活动，自动化新用途的工作流程审批，并在单一连续工具中针对AI关键元素应用所需级别的技术实施。

为什么重要

人工智能正在迅速蔓延。尽管安全部署人工智能需要各领域的专业知识，但人工智能领导者越来越多地承担起监督人工智能的责任。监督还能确保人工智能的使用和价值基于预定标准得到认可。人工智能治理平台正在成为一个独特的市场，它将传统的治理、风险和合规产品功能与基本治理规则的自动化和执行相结合，以验证人工智能的安全性、价值和预期性能。

商业影响

我们观察到，尽管各组织可能采取不同的方法，但 AI 治理已变得更加集中化。AI 治理平台应运而生，以满足这一需求，并满足部署 AI 所需的治理、风险管理和合规性要求。AI 治理平台可以显著提高运营效率，有效地与跨职能利益相关者互动，并在运行时强制执行策略，所有这些都有助于 AI 在企业规模化中取得整体成功。

驱动因素

人工智能日益普及的特性以及对透明度和问责制的需求凸显了强有力的人工智能治理的必要性。
全球法规直接或间接地针对与人工智能相关的问题，例如偏见、安全和伦理问题，以及缺乏透明度和问责制，这增加了合规性的复杂性。整合的视角对于通过审批、验证、审计和可观察性实施技术控制和监督至关重要，从而使企业能够大规模运营。
组织制定的人工智能治理原则和政策缺乏监控和执行，这些原则和政策适用于生产中的人工智能用例。
为了有效地监督人工智能并大规模部署，人工智能治理将需要技术来实施人工智能治理控制，以制定和执行新的企业人工智能要求。
成功的人工智能治理需要跨职能领域的专业知识，包括法律、合规、风险、网络安全、IT 和数据分析，以建立共同的目标、分类法和框架。然而，由于优先事项的相互竞争，这一点难以实现。这降低了治理的有效性，并增加了风险。
企业已经并将继续在产品层面进行安全评估，但这远远不够。必须针对每个支持 AI 的功能和用例进行 AI 评估。
利益相关者对信任的要求越来越高，组织利用高水平负责任的人工智能原则和人工智能可接受使用政策来增强对组织的产品、服务和整体品牌的信心。
企业 AI 的实施范围正在不断扩大，涵盖了机器学习、计算机视觉、大型语言模型等各种 AI 模型，同时也带来了新的风险。企业需要一个平台，能够全面了解企业 AI 产品组合、决策记录、责任追究、风险、风险缓解措施以及可靠性能。

障碍

人们对谁应该负责人工智能治理存在困惑（例如法律、网络安全、数据和分析、IT）。
AI治理团队将与数据和分析团队、IT治理团队、MLOps团队以及网络安全团队已经监控和执行的部分（但并非全部）运营政策重叠。这需要在组织内部划定明确的界限，同时为这一新职能留出空间。
人工智能用例和优先级的多样性要求组织决定单一的人工智能治理通用平台或多种工具的组合是否最适合他们的需求。
由于对AI治理能力缺乏了解，供应商们纷纷将“AI治理”作为市场推广策略。这不仅让买家感到困惑，还让他们买到了言过其实、交付不足的产品。
全球法规和标准千差万别，尽管合规所需的控制措施类似，但预期结果可能会相反。
快速的进步使得一些功能变得过时，并需要滞后于进步的新功能。

6、MCP模型上下文协议

效益评级：高

市场渗透率：不到目标受众的1%

成熟度：新兴

定义：模型上下文协议 (MCP) 是一项新兴标准，旨在实现 AI 模型与其他应用程序和数据源之间的双向通信。它为应用程序提供了一种标准化的方式，使其能够与大型语言模型 (LLM) 共享上下文信息，并向 AI 系统开放工具和功能。

为什么重要

MCP 由 Anthropic 于 2024 年 11 月发布，并已被包括(AWS 和微软在内的众多供应商采用。它通过简化与信息源和功能源的连接，支持基于 LLM 的 AI 应用程序开发。这一直具有挑战性，因为它需要编写自定义代码或使用并非为 AI 使用而设计的 API。MCP定义了一种在 AI 工作流中访问外部数据和工具的标准方法，从而提高了一致性和互操作性。

商业影响

MCP 可以带来更具情境感知能力的 AI 系统，并通过标准化如何让 AI 模型访问其初始训练数据之外的情境相关且最新的多模态数据和多结构化分析数据，从而减少集成工作量。然而，MCP 也带来了额外的安全隐患，以及关于其使用的战略性问题。它也可能会被未来开放性和安全性更高的标准所取代。

驱动因素

MCP 扩展了应用范围，并简化了基于 LLM 的 AI 应用程序和代理的实现和维护。之所以能够做到这一点，是因为它们可以更轻松地访问新的数据源或工具，而无需重新训练模型或大幅改动核心系统，从而提高了 AI 解决方案的灵活性和敏捷性。
由于简化了数据源和工具的连接，基于 LLM 的 AI 应用程序和代理开发人员的生产力和效率得以提升。开发人员可以使用 MCP 与多个不同的系统集成，而无需使用特定于系统的方法和工具，从而降低了集成成本和时间。
AI 服务提供商以及众多应用程序、分析、决策智能和中间件供应商开始在其应用程序中提供预构建的 MCP 定义集成接口，并在工具中提供 MCP 支持。这进一步促进了 MCP 社区的采用和生态系统的发展，并简化了采用流程。由于团队可以将预定义的 MCP 接口重用于新的用例，而无需构建新的 MCP 接口或自定义集成点，因此可以提升价值并促进创新。

障碍

MCP为数据和工具带来了新的安全风险，尤其是与授权相关的风险，并引发了人们对数据隐私和安全的担忧。确保机密信息得到保护，并对访问进行适当的控制至关重要。
许多组织已经将工具和资源注册为其 AI 平台架构的一部分。AIXplain 、Boomi AI Studio、Crew.AI、Langchain 和 SnapLogic等 AI 开发工具已经提供了注册资源的机制，以便基于 LLM 的 AI 应用程序和代理可以访问这些资源。
实施 MCP 服务器可能非常复杂，尤其对于遗留系统或复杂的技术栈而言，并且可能导致架构和治理不尽如人意。将 MCP 集成到现有基础架构中可能需要投入大量精力并具备专业知识。
MCP 相对较新且发展迅速，但向后兼容性有限。早期采用者可能会面临如何确保其实现与最新版本标准保持同步的挑战。

7、人工智能在网络风险管理中的应用

效益评级：转型

市场渗透率：目标受众的5%至20%

成熟度：新兴

定义：网络风险管理中的人工智能通过分析数据并提供预测性洞察，帮助实时决策，从而优化流程。它通过自动化合规性验证和问题检测，增强控制措施的实施，识别缺陷，并扩大风险监控规模。

为什么重要

网络风险管理工具中的人工智能功能：

实现自动化和流程增强
识别网络安全控制中的漏洞
解释控制实施语句
创建政策草案
地图控件
支持聊天机器人
收集并分析网络风险数据以获取见解和决策

提供商和早期采用者正在更加关注这些 AI 功能，这加速了这些功能的成熟。采用这些工具的组织可以显著提高流程效率，增强其网络安全防御能力，并更好地应对错综复杂且不断变化的网络风险格局。

商业影响

人工智能通过简化网络风险管理流程（例如评估、合规报告和事件响应）来提高效率。它减少了对人工干预的需求，节省了时间和资源。
人工智能算法通过分析各种数据源（包括网络流量、用户行为和系统漏洞）来全面评估网络风险。这种整体方法使组织能够有效地识别和确定风险的优先级，从而优化资源配置和决策流程。
目前，85% 的组织正在使用或计划将 GenAI 用于一系列网络安全用例。这些用例包括威胁搜寻和/或威胁建模、事件响应报告和根本原因分析、用户行为分析、漏洞检测和修复以及代码分析。

驱动因素

人工智能算法擅长处理和分析海量数据集，并正在引起需要其提取洞察力和识别以下主要用例中网络威胁模式能力的组织的关注：

根据控制要求和风险偏好自动识别和分类现有的网络安全控制
全面分析政策控制差距以及与行业标准或监管要求的差异，并提出补救措施建议
持续识别网络风险动态，包括模拟以了解对组织环境的潜在影响
对网络风险进行优先排序和评估，并推荐标准化的最佳实践缓解措施
持续监控内部合规性，确保符合现有和不断发展的法规
根据不断变化的法规、行业标准和与业务相关的新兴威胁，动态调整策略要求以适应角色并更新网络安全策略
考虑业务工件与自然语言处理活动，以确保网络安全措施与业务目标相一致，并且政策具有明确的所有权和控制描述和关系
使用预测分析来制定战略网络安全计划，分析外部行业趋势和内部历史数据和风险评估，以预测未来风险并创建网络安全改进路线图
通过预测分析对网络安全预算进行战略预测，利用新兴威胁、组织数据和行业趋势数据来预测未来风险并提出最佳的下一步行动和最佳的网络安全投资
创建动态、定制的执行仪表板，实时洞察组织的网络安全态势

障碍

许多组织并不具备与网络风险管理相关的人工智能技术的基本掌握。
人工智能算法依赖于高质量的数据。许多组织都在努力解决数据质量问题。访问用于训练人工智能模型的数据源也可能充满挑战，尤其是在受监管的行业或数据流更加受限的环境中。人工智能驱动的网络风险管理解决方案通常需要访问敏感数据，例如网络日志、用户行为模式和网络安全事件报告，这些数据存在隐私和安全隐患。
易受不准确或不必要的输出的影响，导致风险所有者和网络风险团队不愿信任和进一步采用这些技术。
成本是一个障碍，特别是对于 IT 能力有限的中小型组织而言。
组织文化可能会阻碍新技术的采用。员工可能会抵制新技术，担心工作被取代或现有工作流程发生变化。

8、人工智能安全测试

效益评级：中等

市场渗透率：目标受众的1%至5%

成熟度：新兴

定义：人工智能安全测试 (AI-ST) 旨在发现人工智能系统和应用程序中的漏洞和暴露。它为人工智能应用程序提供专门的评估，包括攻击性策略，例如自动生成和执行对抗性提示，以及扫描人工智能组件（模型存储库、库、框架和笔记本）。AI-ST 可以独立运行，也可以作为包含运行时控制的人工智能安全平台的一部分运行。

为什么重要

许多组织已经构建了定制的人工智能应用程序，包括聊天机器人，现在正在考虑人工智能代理。这些人工智能应用程序包含扩展攻击面的模型，尤其是像大型语言模型这样的概率模型，它们会带来新的风险，例如即时注入。此外，这些应用程序利用新兴且成熟度较低的工具和环境快速开发，增加了漏洞的风险。AI-ST能够在开发周期的早期识别这些漏洞。

商业影响

商业、IT 和网络安全利益相关者需要一种方法来评估人工智能系统抵御攻击的韧性，最好是在将其投入生产之前。对于面向公众的人工智能应用（包括代理）来说尤其如此。现有的应用程序安全工具尚未完全发展到包含针对人工智能的测试，例如对抗性提示或模型反演技术。

驱动因素

随着企业将AI应用试点项目转入生产环境，由于缺乏适用于自然语言输入和输出的全新测试方法，它们面临着一系列独特的风险。这凸显了全面开展AI风险评估和强化测试程序的必要性。
GenAI 应用正在推动大量创新，但由于输入的概率处理和输出的生成，也存在特定风险。这类应用的数据泄露、即时注入和输出被盗用的风险更高。
组织利益相关者在授权面向外部的部署之前，需要对其聊天机器人以及目标驱动的人工智能代理的抵抗攻击和滥用的能力进行评估。
安全团队正在寻找自动化测试部分的方法，因为人工智能应用程序的快速发展需要频繁的重新测试。
许多人工智能应用利用商业或开源人工智能模型，这些模型存储在专门的存储库中，包含各种文件格式和元数据。配置错误、模型和元数据篡改可能会严重改变应用程序的行为。
全球法规和NIST AI RMF 等流行框架正在推动对特定 AI 测试实践的需求。

障碍

组织可能无法完全了解和管理其 AI 模型，尤其是本地下载的模型，从而限制了大规模应用 AI-ST 的能力。
由于涉及多个团队，包括一些传统应用开发团队之外的团队，AI-ST 的职责通常不明确。这可能导致 AI 应用在开发和进入预生产阶段时，缺乏适当的应用安全测试方法。
人工智能应用及其所面临的攻击本身就具有不确定性，这使得 AI-ST 产品的评估和基准测试变得复杂。因此，负责人工智能应用安全的安全团队在定义成功的测试结果方面面临挑战。
大多数 AI-ST 都是初创公司，缺乏知名度和良好的业绩记录，无法让人对所提供测试的质量和全面性产生信心。
并非所有提供商都提供全面的 AI-ST 功能。许多提供商仅限于攻击性安全测试。
测试并非一次性活动。AI-ST 技术很少提供成熟的重新测试或结果分析指导。

9、人工智能SPM

效益评级：中等

市场渗透率：目标受众的1%至5%

成熟度：新兴

定义：AI 安全态势管理 (AI SPM) 工具可帮助企业扫描其基础架构，以发现已部署的 AI 模型、助手和代理及其相关的数据管道。AI SPM 评估企业 AI 基础架构在暴露于数据存储和处理工作负载时如何产生风险。

为什么重要

当企业部署的AI 基础设施未知、未经批准、配置错误或存在已知漏洞时，数据风险就会出现。AI SPM工具有助于发现所有使用数据（公共和私有）的 AI 模型，评估基础设施的风险暴露，对发现结果进行风险优先级排序，并帮助实施补救措施。更优秀的工具可以将数据分析扩展到整个数据管道，以识别由于不当训练、管道目标、提示和未经授权的访问而导致的风险。

商业影响

业务团队正在全速推进人工智能部署。网络安全领导者需要支持这种快速应用，同时帮助确保企业数据资产不会因未知和未经批准的人工智能而意外暴露或面临风险。错误配置的人工智能基础设施、易受攻击的模型或过度访问不仅会使企业数据面临风险，还会对合规性、竞争优势、声誉和人员安全造成风险。

驱动因素

人工智能模型和助手越来越多地被部署在企业基础设施中，而没有对其配置、权限、暴露或所使用的数据进行任何评估或了解，因此需要专注于人工智能/GenAI 的安全态势管理功能。
其中一些 AI 模型的部署超出了IT的控制范围，因此需要一种发现能力来识别未知或不合规的模型数据使用情况。
不受管理的训练流程可能会导致许多数据存储库暴露给 AI 模型。模型使用的数据管道需要分布在不同的云实例中，并且后续授予相关助手的访问权限和提示也需要进行映射。
越来越需要评估模型中使用的数据的机密性和商业敏感性，以防止不合规、侵犯隐私、中毒风险和安全漏洞。
AI SPM 产品可帮助组织回答“我的组织正在使用哪些 AI 模型，这些模型是否代表未知或不可接受的数据风险？”

障碍

AI SPM 功能正在CSPM 和 DSPM 市场中融合，使得比较和评估变得具有挑战性。
要充分发挥AI SPM 的优势，需要与业务、数据和分析、法律和网络安全领导者合作，协调多学科治理方法。
AI SPM产品难以支持种类繁多且快速变化的 AI 模型。它们也缺乏甚至完全没有能力评估内部开发的模型或开源模型的正确配置或漏洞。
AI SPM 产品还难以评估已批准的商业用途和未批准的用途。
用于提供模型创建的 SaaS 应用程序中数据的可见性是一项挑战，因为有成千上万的 SaaS 应用程序需要通过 API 进行集成。
AI SPM 评估数据全部特征（包括质量、生命周期、目的、居住地、主权和机密性）的能力仍然有限且不一致。

10、AI使用控制

效益评级：中等

市场渗透率：目标受众的1%至5%

成熟度：新兴

定义：AI 使用控制 (AI-UC) 是一种用于发现第三方 AI 使用情况并强制执行组织安全策略的技术。其功能包括发现和分类作为服务使用、安装或嵌入在应用程序中的第三方 AI。AI-UC 定义并强制执行使用策略，检查内容中的敏感数据，评估风险，并对异常情况发出警报。AI-UC 主要以云服务的形式提供，可能包含多个本地检查点。

为什么重要

现有的安全控制通常仅关注一两个 AI 应用向量的发现：Web、API、应用程序或源代码。许多当前的发现工具将AI 应用程序视为其他应用程序，忽略了组织环境中 AI 的独特风险及其集成。AI 使用控制提供细粒度的分类和基于意图的策略，在降低安全风险的同时，支持安全采用第三方应用程序。

商业影响

组织机构持续快速采用第三方人工智能，无论是通过已获批准的还是影子人工智能的使用。在某些情况下，第三方会在下次更新时将人工智能添加到现有产品中，而无需组织机构知情或同意。人工智能的采用速度往往超出了组织机构监控、治理和控制使用情况的能力，这主要增加了数据泄露的风险。

此外，某些人工智能应用的风险高于其他应用。人工智能提供商可能会将用户提供的即时和基础数据置于风险之中，或者工作产品中使用的 GenAI 输出可能会带来新的企业风险。相关的首席信息安全官必须了解他们在人工智能及其使用方面面临的风险。

驱动因素

实施 AI 信任、风险和安全管理 (TRiSM) 安全工具来保护第三方 AI 往往缺乏全面的发现，要求组织在添加额外控制之前，利用 AI 使用控制功能来堵塞现有第三方 AI 使用的盲点。
评估风险是第三方AI使用治理的首要要求，但目前尚无标准方法。AI-UC为组织创建了一个框架，用于构建已发现的第三方AI的标准风险评估和风险排序。
由于数据泄露、滥用以及这些应用程序生成的不准确内容可能造成的后果的风险不断增加，安全团队希望构建治理机制来控制和授权对最新AI应用程序的访问。AI-UC 技术通过提供一种方法来强制执行组织的使用策略，从而更安全地采用 AI。
人们越来越担心第三方人工智能由于能够将数据纳入其训练模型而容易发生数据泄露，因此需要对泄露给人工智能应用程序的敏感数据进行更多的可见性和控制。

障碍

员工使用的AI工具数量庞大且种类繁多，令安全团队不堪重负，导致AI使用控制的价值被严重低估，主要体现在发现和风险评估能力上。在数千个应用程序中进行精细的控制非常困难。
组织不会优先考虑预算来采购特定的人工智能使用控制工具，或者他们认为提供一定程度可见性的现有安全工具就足够了。
大多数 AI-UC 供应商至少会实现一个检查点，例如浏览器扩展或与现有 Web 代理或端点技术的集成。各供应商的功能各不相同，目前并非所有供应商都能发现或控制所有影子 AI 的使用，例如 SaaS 连接、桌面或 API 的使用。
安全团队以外的部门对人工智能的益处抱有很高的期望，即使人工智能被归类为有风险，他们也可能会抵制安全团队阻止其使用。当员工已经在使用第三方人工智能应用程序时，非安全部门的领导者尤其会抵制。
AI-UC 技术提供的基于意图的策略利用概率方法（小型或大型语言模型），从而产生与不准确性相关的自身问题。
AI 使用控制旨在发现企业基础设施中影子 AI 的使用情况。它不会检测或控制员工或第三方在组织基础设施之外向 AI 提交敏感数据等用例。

11、AI网关

效益评级：中等

市场渗透率：目标受众的1%至5%

成熟度：培育期

定义：AI 网关（也称为 LLM 路由器或多 LLM 网关）用于管理和保护与 AI 提供商的连接。一些 AI 网关基于成熟的 API 网关产品，因为 REST API 是连接 AI 提供商的主要机制，而另一些则是专门构建的。AI 网关可用于为组织的 AI 使用提供安全性，例如保护 AI 提供商颁发的 API 密钥、多 LLM 路由、成本可见性和数据隐私扫描。

为什么重要

AI 网关通过提供安全性、治理、可观察性和成本管理来管理应用程序与 AI 模型之间的交互。这降低了 AI 提供商产生的意外成本风险，并防止 API 流量中的私有数据被泄露或滥用。AI 网关还可以使组织能够管理来自不同提供商的多个 AI 模型的使用情况，而不是将组织集中在一个提供商上。

商业影响

随着生成式人工智能和其他类型人工智能项目的数量和规模不断增长，组织需要更好地控制其对人工智能提供商的使用。人工智能网关在组织与其人工智能提供商之间提供运行时流量管理。这些网关可以帮助实施和管理基于提示的策略控制，跟踪人工智能服务的使用情况和成本，跨多个 LLM 进行路由，以及管理对人工智能订阅的访问，包括保护人工智能提供商颁发的 API 密钥。

驱动因素

控制访问成本：AI 服务的定价模型往往基于代币，这给企业带来了风险，因为使用这些服务的成本可能会快速累积，而且除了 API 网关典型的基于事务的计量之外，还需要特殊的计量能力。企业希望控制访问成本，而 AI 网关可以通过缓存响应来限制重复调用，并跟踪和控制对服务的访问。
实现 AI 服务使用情况的可见性：AI 网关通过利用 API 管理可观察性和 API 使用情况分析功能，提供了一种在整个组织内更清楚地了解 AI API 使用情况的方法。
优化对 AI 引擎的访问：AI 网关可以配置为向多个不同的 AI 提供商（例如多个 LLM）提供单一 API。这意味着开发者可以使用同一个 API 访问多个 AI 服务。
加强AI 交互的安全性： AI 信任、风险和安全管理 (AI TRiSM) 确保 AI 模型的治理、可信度、公平性、可靠性、稳健性、有效性和数据保护。AI 网关解决了 AI TRiSM 的各个方面，包括模型治理和可靠性。尤其重要的是，保护 AI 提供商颁发的 API 密钥至关重要。如果攻击者获取了组织机构为 AI 提供商颁发的 API 密钥，他们可能会访问私人数据并产生巨额使用费用。AI 网关可用于保护 AI 提供商颁发的 API 密钥。

障碍

AI网关尚属新兴技术，且在很大程度上未经验证。在快速发展的AI环境中，新的需求层出不穷，例如需要能够管理模型上下文协议端点。因此，在选择供应商之前，务必进行全面的评估。
延迟是任何中介机构都关心的问题，尤其是在人工智能领域，终端用户可能会注意到任何响应时间的延迟。与传统的 API 延迟不同，这里重要的指标是第一个令牌的时间和每秒令牌数（或令牌吞吐量）。人工智能网关可以帮助用户优化这两个指标。
如果在部署 AI 网关时没有冗余，单点故障也是一个问题。
缓存 AI API 响应效率低且复杂，因为不同的 AI 模型可能使用不同的提示。确定自然语言请求是否请求相同的信息非常困难，尤其是在处理较大的上下文窗口时。

12、AI代码安全助手

效益评级：转型

市场渗透率：目标受众的5%至20%

成熟度：成长期

定义：人工智能 (AI) 代码安全助手 (ACSA) 是一种帮助开发人员识别和修复代码中安全漏洞的技术。为了实现这一目标，它们使用各种人工智能技术，例如生成式人工智能 (GenAI)，提供自动修复建议、直接代码协助或聊天机器人。ACSA 主要作为应用程序安全测试 (AST) 产品的功能提供，并使用云服务来分析代码并提出建议。

为什么重要

开发人员缺乏良好的培训，无法识别和解决其代码中的安全问题。建议开发人员在开发应用程序安全程序时接受安全代码培训，而人工智能代码助手可以提升学习效率。经过适当训练后，AST 供应商提供的大型语言模型 (LLM) 可以交付更安全的代码。当开发人员在安全环境中获得有效的答案时，他们能够编写出更安全的代码，LLM 和 ACSA 可以提供更具可扩展性、以安全为中心的代码建议。

商业影响

ACSA 超越了更通用的 AI 编码助手，为 AST 工具发现的特定安全问题提供即时 (JIT) 解决方案。
与大多数工具不同，ACSA 可以处于独特的位置，可以同时优化多个变量（例如安全性和代码质量）。
ACSA 是下一代工具，用于弥补 JIT 培训和安全补救等剩余差距之一，将安全性转移到现代安全软件开发生命周期(SDLC) 中。

驱动因素

GitHub Copilot 和 Google Vertex等AI助手正日益受到开发者的青睐。AI 助手在其代码的多个领域（包括安全编码以及生产环境的基础设施和运营）都发挥着重要作用。
左移计划——将工作从运行时环境（右侧）转移到开发人员（左侧）——通常难以推广，甚至会彻底失败。这是因为为开发人员提供可靠安全指导所需的渠道有限且脆弱。这些计划通常依赖专家来指导组织。ACSA提供了一个机会，可以在组织的多个层级添加虚拟专家，以便开发人员轻松使用。
传统上为应用安全提供工具的 AST 供应商，十多年来一直提供安全代码协助，并可以访问其工具生成的核心安全编码数据。将这些数据用作训练语料库，并将其与基础模型结合到 ACSA 中，是合乎逻辑的下一步。
开发人员相信 ACSA 能够提供可靠的安全建议。2025年 Gartner 软件工程调查发现，69% 的开发人员对这些工具表现出高度或中等的信心。

障碍

大多数组织担心AI助手会泄露私人数据或知识产权（IP）。虽然有方法可以防范这种情况，但信任度较低。
GenAI偶尔会出现幻觉，识别出不真实或错误的问题，或者给出看似合理但不安全或不明智的解释。这种情况很难察觉，尤其是对于初级开发人员而言。
代码所有权问题令人担忧，尤其是在ACSA贡献了大量代码的情况下。鉴于助理通常使用他们接受过培训的代码，而不是原创代码，因此意外获取其他组织的知识产权是一个值得关注的问题。
ACSA 是优化器的一个例子，它过去因为过度补偿安全性而忽略了性能、可靠性和代码质量等问题而失败。

13、通用人工智能

效益评级：转型

市场渗透率：不到目标受众的1%

成熟度：培育期

定义：通用人工智能 (AGI) 是指机器在所有认知任务上能够匹敌甚至超越人类能力的（目前假设）能力。此外，AGI 将能够在各种物理和虚拟环境中自主学习和适应，以追求预定或新颖的目标。

为什么重要

随着人工智能日益复杂化，包括生成式人工智能 (GenAI) 和代理式人工智能 (Agentic AI) 的最新进展，越来越多的人工智能专家缩短了未来实现通用人工智能 (AGI) 的预测时间，或认为 AGI 不再纯粹是假设。为了实现循证治理和切合实际的预期，对 AGI 有一个清晰、一致的定义至关重要。实现 AGI 将是一个变革性的转折点，对生产力、就业、地缘政治力量、法律、伦理和文化规范以及整个社会都将产生深远影响。

商业影响

短期内，对通用人工智能 (AGI) 的期待既会加剧过度乐观的预期，也会引发对自身生存的担忧，导致投资扭曲、信任受损，并加速新人工智能法规的出台。从长远来看，谁来构建和控制 AGI（或其他形式的日益强大的人工智能）的问题日益凸显。许多专家认为，公共管理至关重要，这一前景可能会颠覆私人优势，并重塑整个市场。

驱动因素

多模态大型语言模型 (LLM)、所谓的推理模型以及人工智能代理的最新进展和日益增长的兴趣，推动了通用人工智能 (AGI) 的广泛热潮。深度学习的大规模扩展以及海量数据和计算能力的可用性，在很大程度上推动了这些进步。
正如这里所定义的，人工智能向 AGI 的进一步发展越来越多地受到其他部分新方法的补充，例如知识或因果图、世界模型、自适应人工智能、体现人工智能、复合和神经符号人工智能，以及其他可能尚未知晓的创新。
许多AI厂商正在公开讨论并积极研究AGI领域，给人一种AGI触手可及的印象。然而，他们对AGI的定义差异很大，而且往往存在多种解读。此外，其他领先的AI厂商和专家认为AGI只是炒作，并呼吁关注AI日益增长的能力所带来的真正影响。
人类与生俱来的渴望设定远大目标，也是通用人工智能 (AGI) 的主要驱动力。历史上，人类曾一度希望模仿鸟类飞行。如今，飞机旅行已成为现实。人类思维的好奇心，从自然和自身汲取灵感，永不消逝。
人们倾向于将非人类实体拟人化，这种倾向也适用于人工智能驱动的机器。LLM的类人反应和近期人工智能模型的类推理能力助长了这种趋势。尽管许多哲学家、神经心理学家和其他科学家认为这种归因极不可靠或过于夸张，但它营造出一种通用人工智能（AGI）触手可及或至少正在接近的感觉。反过来，这引发了媒体的广泛关注，一些呼吁制定监管措施以管理AGI风险的呼声，以及出于经济、社会和地缘政治原因对人工智能投资的巨大兴趣。

障碍

对于“人类智能”的含义，科学界几乎没有达成共识。面对人类大脑和思维的巨大复杂性以及对它们的有限理解，任何关于 AGI 的说法都很难得到证实。
当前人工智能的不可靠性、缺乏透明度以及基于模式的抽象和推理能力有限，这些都难以通过深度学习的内在概率方法克服。更多数据或更强大的计算能力来构建更庞大的模型不太可能解决这些问题，更不用说实现通用人工智能了。要实现（并控制）通用人工智能需要进一步的技术创新。因此，本文定义的通用人工智能不太可能在短期内出现。
如果通用人工智能 (AGI) 真正实现，自主行为体很可能将应运而生，并最终被赋予完全的自学能力、自主权、身份认同，甚至道德规范。这将引发一系列关于人工智能合法权利的思考，并引发深刻的伦理甚至宗教讨论。AGI也有可能对人类产生负面影响，从失业到人工智能引发的新一轮军备竞赛等等。这可能会引发严重的反弹，禁止或控制 AGI 的法规很可能在不久的将来出台。

14、复合人工智能

效益评级：转型

市场渗透率：目标受众的20%至50%

成熟度：早期主流

定义：复合人工智能（Composite AI），又称混合人工智能（Hybrid AI），是指将不同的人工智能技术组合应用（或融合），以提高学习效率并拓展知识表征的层次。它拓宽了人工智能的抽象机制，最终提供了一个有效解决更广泛业务问题的平台。

为什么重要

复合人工智能认识到，没有任何一种单一的人工智能技术是万能的。它将“联结主义”人工智能方法（例如机器学习 (ML) 和深度学习）与“符号主义”和其他人工智能方法（例如基于规则和逻辑的推理、图形或优化技术）相结合。其目标是使人工智能解决方案能够泛化和学习，并体现更多的抽象机制。复合人工智能是生成式人工智能 (GenAI)、决策智能(DI) 平台和代理式人工智能市场的核心。

商业影响

复合人工智能将人工智能的力量带给更广泛的组织群体，这些组织无法获取大量历史数据或标记数据，但拥有丰富的人类专业知识。它有助于扩展人工智能应用的范围和质量，从而应对更多类型的推理挑战。其他优势包括更佳的可解释性、嵌入式弹性以及增强智能的支持。新一波的GenAI应用在很大程度上依赖于复合人工智能。

驱动因素

决策对人工智能的依赖日益增长，推动着企业迈向复合人工智能。通过结合基于规则的模型和优化模型，可以确定最合适的行动——这种组合通常被称为规范分析。
数据集规模小，或者说数据可用性有限，促使企业将多种AI技术结合起来。企业已开始利用其他AI技术（例如知识图谱和生成对抗网络 (GAN)）来补充稀缺的原始历史数据，以生成合成数据。
结合人工智能技术比仅仅依赖启发式方法或粗略的“数据驱动”方法更有效。基于规则和逻辑的技术可以与深度学习模型相结合。来自人类专家的规则，或物理/工程模型分析的应用，可能会指出某些传感器读数表明资产运营效率低下。
计算机视觉和自然语言处理 (NLP) 解决方案用于识别和分类图像中的人物或物体。此输出可用于丰富或生成图形，以表示图像实体及其关系。
DI 平台和基于 AI 代理的系统的出现将促进多种 AI 技术的有效结合，使复合 AI（在某些情况下包括神经符号技术）成为事实上的 AI 开发方法。
多智能体系统的发展进一步赋能了复合人工智能。复合人工智能解决方案可以由多个智能体组成，每个智能体代表生态系统中的一个参与者。将这些智能体组合成一个“集群”，可以实现共同的态势感知、更全局的规划优化、响应式调度和流程弹性。
GenAI 正在通过工件、流程和协作生成来加速复合 AI 模型的研究和采用，这些都是 DI 平台的基础。

障碍

缺乏利用多种人工智能方法的意识和技能：这可能会阻止组织考虑特别适合解决特定问题类型的技术。
ModelOps 部署：ModelOps 领域（即多个 AI 模型的运营化，例如优化模型、机器学习模型、规则模型和图模型）与其说是科学，不如说是一门艺术。需要一种强大的 ModelOps 方法才能有效地管理复合 AI 环境，并将其与其他学科（例如 DevOps 和 DataOps）协调一致。
信任与风险壁垒：人工智能工程学科正在初具规模，但只有成熟的组织才能将其优势应用于人工智能技术的运营。在整合人工智能技术的过程中，必须解决安全性、伦理模型行为、可观察性、模型自主性和变更管理实践等问题。

期望膨胀期

15、AI SOC代理

效益评级：中等

市场渗透率：目标受众的1%至5%

成熟度：培育期

定义：AI SOC 代理解决方案利用 AI 技术，增强安全运营中的许多常见活动。AI SOC 代理可通过自然语言查询、误报减少、告警增强、攻击路径情境化、报告汇总和后续步骤建议等方式增强调查能力。

为什么重要

尽管人工智能 SOC 代理工具仍是一项新兴且未经验证的技术，但它为安全运营领导者提供了一个机会，让他们能够增强其员工队伍，使其能够胜任各种角色执行的各项工作。有效的增强可以减少执行某些任务所需的时间，例如管理误报。它还可以带来其他项目效益，例如减少执行活动所需的技能组合、减少错误并提高 SOC 运营的整体绩效。

商业影响

AI SOC代理解决方案可以帮助安全运营团队：

更好地管理误报、丰富告警、提供自然语言查询、生成攻击时间表、报告摘要和其他已知会消耗宝贵运营周期的常见活动。
提高执行常见活动的安全运营团队成员的整体增强能力，从而无需增加人员即可承担额外的工作量。
减少执行某些活动所需的技能组合，这可以减少初级团队成员执行某些 SOC 任务通常所需的学习曲线。

驱动因素

缺乏资源来执行有价值的安全运营活动是一个普遍存在的问题。尽管人工智能安全运营中心 (SOC) 特工尚未得到验证，但它已成为安全运营领导者寻求增强其人员队伍的首选。
招聘、聘用和留住安全运营团队成员是一项挑战。AI SOC 代理可以让初级成员专注于更关键的任务，从而提高工作满意度和留任率。
由于资源限制，用户常常被迫在调查哪些警报方面做出让步。AI SOC 代理承诺自动调查并关闭级别较低的警报，从而为人类留出更多时间去调查更值得关注的告警。

障碍

AI SOC 代理工具仍在不断涌现，其宣称的优势大多未经证实。需要进行尽职调查，以确保能够取得可衡量的团队工作流程增强改进等成果，并揭穿任何 AI 清洗的谎言。
该领域的供应商授权代理与SOC中执行的特定活动相匹配。成本模型可能会限制AI SOC代理在整个团队职能中的广泛使用。
对于较小的团队来说，AI SOC 代理的成本合理性可能比较困难，因为该解决方案的真正价值在于在当前团队基线上提供运营周期内可衡量的收益。

16、AI运行时防御

效益评级：高

市场渗透率：目标受众的5%至20%

成熟度：新兴

定义：AI运行时防御为AI应用程序和模型实现基于意图的策略执行和异常检测。它提供针对应用程序滥用和攻击（例如快速注入）的内容检查，并旨在检测意图或内容异常（例如投毒、幻觉）。一些AI运行时防御工具是特定于应用程序的（例如聊天机器人）。AI运行时防御是AI治理平台的常见功能，但在专注于网络安全时，也可以作为独立产品。

为什么重要

生成式人工智能 (GenAI) 应用程序需要专门的控制措施来降低网络安全风险。人工智能运行时防御通常专注于应用程序安全，通常针对大型语言模型 (LLM)聊天机器人的快速滥用，但也扩展到其他类型的攻击，例如模型查询攻击。它还可以通过监控模型是否存在越狱、数据泄露、性能漂移以及有偏差或有害的模型输入或输出来帮助缓解内容异常。

商业影响

AI 运行时防御提供对潜在 AI 异常或攻击的实时可见性。在拥有大量 AI 应用程序的组织中，集中式可见性和警报管理有助于识别使用相同 AI 模型的多个应用程序所共有的问题。基于 LLM 的应用程序在新应用程序中的比例越来越高，这些应用程序需要控制输入以避免应用程序滥用，并控制输出以降低品牌受损的风险以及基于错误输出的决策。

驱动因素

安全团队仍在追赶正在进行的人工智能应用计划，并寻求可以轻松部署的人工智能运行时控制。
通用人工智能正在推动大量安全投资，但异常检测和安全控制可以更广泛地应用于人工智能应用程序和模型。
人工智能应用程序需要监控以确保合规实施、避免应用程序滥用并防止恶意活动。
人工智能代理的出现强化了运行时保护和异常检测的需求。此外，它还增加了低延迟甚至更低误报的要求。
开源产品（例如 Meta的Llama Guard ）可用于商业用途，但有一定的限制。
早期创业公司面临着来自大型成熟供应商日益激烈的竞争，这些供应商提供类似功能，例如安全服务边缘 (SSE ) 。但如今，专业供应商提供了差异化优势，例如可以访问系统提示和原始模型输出，或应用机器学习技术来分析这些输入和输出的意图。
保险要求、即将出台的法规（例如欧盟《人工智能法案》和美国的多项法律）以及现有的企业政策都可能强制采用应用程序安全实践。这些实践包括预防性控制和监控，以支持高风险人工智能系统的风险缓解。

障碍

新的AI控制工具难以与现有的安全系统和其他监控系统集成。它们通常需要构建新的策略和分类功能，尤其是针对非安全事件（法律、合规、可接受使用）。
AI运行时防御工具通常集成到更广泛的AI治理平台中，将测试和风险评估与运行时监控相结合。这使得应用程序安全领导者更难以根据其特定目的进行实施和调整。
基于文本输入的实时安全警报可能会很嘈杂，并且容易出现较高的误报率，例如在检测SQL 注入和 XSS时。
许多供应商规模较小且正在成长，其产品的有效性尚未得到证实。
部署形式可能会影响控件的可见内容；部署在应用程序前端的控件仅可查看用户输入和应用程序输出。应用程序堆栈中可能需要多个入口点，尤其是在多模态AI应用中。
组织可能对检查应用程序输入和输出有隐私方面的担忧，尤其是当它意味着与提供商的 SaaS 平台共享敏感内容时。

17、人工智能素养

效益评级：高

市场渗透率：目标受众的1%至5%

成熟度：新兴

定义：人工智能素养是指在商业和社会环境中有效且负责任地运用人工智能的能力。这包括基于角色的关于人工智能的影响、风险以及由此产生的价值和成果的知识。它还包括理解人工智能的基本原理、技术和应用、分析和算法方法、数据和知识来源以及伦理考量。

为什么重要

人工智能，尤其是生成式人工智能 (GenAI) ，是许多组织的首要业务重点。越来越多的企业领导者意识到，要充分利用人工智能的潜力来推动创新、创造价值并推动组织转型，提升员工的人工智能技能至关重要。特定岗位的人工智能素养是各类组织必须培养的一项基础能力，才能充分发挥新人工智能时代及未来的潜力。

商业影响

为了充分利用人工智能的潜力，转变商业模式并积极塑造社会，领导者必须加速提升人工智能素养，将其作为人工智能应用和治理的核心要素。人工智能领导者需要通过提升员工技能来优化价值、建立信任并管理人工智能风险。他们必须与其他高管密切合作，确保人工智能的影响力得以实现。速赢和最小可行人工智能用例可以积聚动力。然而，持久的变革需要时间来让员工掌握实现预期业务成果所需的新技能。

驱动因素

随着人工智能（尤其是在首席执行官和商业领袖的推动下）的落地，尤其是在GenAI的推动下，人们越来越关注人工智能的就绪性以及提升员工技能的需求。员工的人工智能素养日益被认为是企业整体识别机遇、筛选AI就绪数据以及兑现AI和创新承诺能力的重要因素。
基于高需求，人工智能的应用正在快速增长。它如今已成为企业商业模式和数字平台的核心。随着人人都是信息工作者，运用人工智能以及数据、分析和知识管理等相关技术的能力比以往任何时候都更加迫切。
有效的人工智能战略依赖于变革管理举措的结合，这些举措推动人工智能的采用，并包括提升员工在人工智能和数据方面的技能。
人工智能的风险、局限性和伦理问题，以及欧盟《人工智能法案》等日益增长的监管压力，推动了对治理、政策和更多技术缓解策略的需求。这些因素促使人们迫切需要提高人工智能素养，重点关注意识、行为和批判性思维技能，这些技能对于负责任地使用人工智能至关重要。

障碍

来自首席执行官和高管的人工智能指令相当于高风险的压力，但却对人工智能劳动力技能抱有不切实际的期望。
目前还不清楚人工智能素养的含义以及它与数据素养的关系。
许多组织的员工人工智能素养较低。
组织没有认识到人工智能准备需要以人工智能素养为基础。
人工智能素养框架和培训产品相对较新。
不承认人工智能素养和数据素养是相互联系的，并且是人工智能的基础，这是一个障碍。
如果不能正确获取 KPI 和指标，就无法衡量 AI 的价值。
缺乏指定的人工智能素养计划领导者。
一些数字素养举措与人工智能素养没有联系。
组织缺乏足够的投资来启动和扩展人工智能素养计划。
在某些组织中，企业范围内的人工智能素养采用将需要数年时间才能在所有角色中实现。
有些人可能会选择退出而不是提升技能。

18、AI 信任、风险和安全管理 (TRiSM)

效益评级：高

市场渗透率：目标受众的5%至20%

成熟度：早期主流

定义：AI 信任、风险和安全管理 (TRiSM) 包含四层技术能力，支持所有 AI 用例的企业策略，并有助于确保 AI 治理、可信度、公平性、安全性、可靠性、保密性、隐私性和数据保护。其中，最上面的两层，AI 治理以及 AI 运行时检查和执行，是 AI 领域的新概念，并且正在逐步整合成一个独立的细分市场。最下面的两层则代表专注于 AI 的传统技术。

为什么重要

人工智能带来了新的信任、风险和安全管理挑战，而这些挑战是传统控制措施无法解决的。企业最担心的是数据泄露、第三方风险以及不准确或不必要的输出，需要确保企业人工智能的行为和行动符合企业意图。随着人工智能市场的快速成熟和变化，企业必须进一步保持对任何单一人工智能模型或托管服务提供商的独立性，以确保可扩展性、灵活性、成本控制和信任。

商业影响

未能持续管理人工智能风险的组织，极有可能遭遇不良后果，例如项目失败、人工智能性能失常以及数据机密性受损。不准确、不道德或非预期的人工智能结果、流程错误、不受控制的偏见以及来自良性或恶意行为者的干扰，都可能导致安全故障、财务和声誉损失，或责任和社会损害。人工智能性能失常还可能导致组织做出次优或错误的业务决策。

驱动因素

由于人们缺乏对人工智能作为支持关键业务流程的安全且合乎道德的选择的信任，人工智能和 GenAI的使用受到限制。
企业面临多重人工智能风险，最担心的是数据泄露、第三方风险以及不准确或不必要的输出。
针对企业人工智能的恶意黑客攻击仍然很少见，而不受约束的有害聊天机器人事件却有据可查，内部过度共享数据泄露现象普遍存在。
用户对GenAI TRiSM 解决方案的需求正在稳步增长，各种规模的供应商都在争夺这一新的企业业务。
一些组织主要关注安全和风险缓解，而其他组织也注重支持道德或安全实践和法规遵从性。
人工智能信任、风险和安全问题暴露了组织孤岛问题，迫使团队重新调整以解决跨部门界限的问题并实施解决这些问题的技术措施。
引入具有不同代理程度的基于 LLM 的 AI 代理，可以使 AI 能够在有人或无人干预的情况下采取行动。
人工智能代理的快速普及将产生更多的治理需求，而人类在环监督无法单独满足这一需求。
人工智能风险管理法规正在推动企业制定人工智能风险管理措施。这些法规定义了组织必须在现有合规要求（例如隐私保护相关要求）的基础上满足的新的合规要求。

障碍

采用AI TRiSM 技术通常是事后才想到的。企业通常直到 AI 应用投入生产时才会考虑它，因为那时改造会变得很困难。
许多企业资源有限，没有实施 TRiSM 技术的技能或能力。
企业通常依赖现有供应商为 TRiSM 功能提供 AI 功能，尽管他们通常缺乏这种功能，并且必须依赖供应商许可协议来确保其机密数据在主机环境中保持私密。
嵌入人工智能的现成软件通常是封闭的，并且不支持可以执行企业策略的第三方人工智能 TRiSM 产品的 API。
大多数人工智能威胁和风险尚未被充分了解，也未得到有效解决。
AI TRiSM 需要一个跨职能团队，包括法律、合规、安全、IT 和数据分析人员，以建立共同目标并使用共同框架。
虽然 AI TRiSM 可以集成生命周期控制，但这带来了重大的实施挑战，尤其是对于通常缺乏 API 支持的嵌入式 AI。

19、代理型人工智能Agentic AI

效益评级：转型

市场渗透率：目标受众的1%至5%

成熟度：新兴

定义：代理型人工智能 (Agentic AI) 是一种基于使用一个或多个软件实体构建人工智能解决方案的方法，这些软件实体被完全或至少部分归类为人工智能代理。人工智能代理是自主或半自主的软件实体，它们使用人工智能技术在其数字或物理环境中感知、决策、采取行动并实现目标。

为什么重要

代理型人工智能正处于技术成熟度曲线的期望膨胀期。人们对代理型人工智能的兴趣迅速飙升，2024 年与人工智能代理相关的咨询量增长了 750%。除了市场带来的困惑之外，代理型人工智能正乘着生成型人工智能的浪潮而兴起。在合适的用例中，代理型人工智能可以通过更好的人工智能集成提供卓越的价值。人工智能代理开启了一个截然不同的软件实践时代，从而催生了高度分布式的决策系统。

商业影响

正如数十年来基于嵌入式系统的原始人工智能代理系统所展现的那样，如果应用得当，基因人工智能可以创造巨大的商业价值。基因人工智能有望通过目标驱动的系统创造这种价值，它不仅带来更大的灵活性、适应性，还带来了更高水平的自动化，更重要的是，它还带来了增强功能，进一步弥合人机之间的差距。

驱动因素

技术进步：代理人工智能融合了复合人工智能（又称混合人工智能）、决策智能和大型行动模型演变的进步；如今大多数都发展得相当迅速。
市场势头和炒作：Agentic AI 受益于强大的市场势头，吸引了许多目前正在试验该技术的用户组织进行大量投资。
供应商投资：许多供应商已经加速了基因人工智能的能力，从而促进了这一趋势和普遍需求的加速。
先进的自动化承诺：与工作流自动化和 RPA 等传统方法相比，Agentic AI 承诺提供更稳定、更具弹性和更具情境性的流程，为灵活的自动化水平打开大门。
复杂的用例：商业环境中的环境、目标或执行的复杂性和动态性不断增加，表明需要更加分布式和更少确定性的特性，而多智能体系统可以提供这些特性。

障碍

市场炒作正在稀释人工智能代理的内涵，供应商们纷纷进行“代理清洗”——将现有产品（例如人工智能助手、RPA 工具和聊天机器人）重新包装，以吸引买家的注意力，但却没有提供实质性的代理功能。这导致人们对该技术的成熟度抱有错误的预期。
可预测性是人工智能代理的核心限制因素。当前的人工智能代理或许能够执行某些任务，但它们无法针对特定用例提供足够可靠的执行能力。这使得大多数人工智能代理不适合实现完全自动化。
人工智能代理的自主性增强意味着它们会带来一系列新的风险，这些风险超出了使用独立人工智能模型和 GenAI 助手所带来的风险。
市面上大多数产品都是AI助手，而非AI代理。AI助手通常不像AI代理那样进行自主操作。然而，用户却越来越大胆，没有意识到构建代理所需的全部投入。

20、网络安全AI助手

效益评级：中等

市场渗透率：目标受众的5%至20%

成熟度：新兴

定义：网络安全AI助手利用生成式AI技术来挖掘网络安全工具中现有的知识，生成内容或代码，并协助安全团队完成日常工作。网络安全AI助手通常作为现有产品的配套功能提供，但也可以采用专用前端的形式，并集成软件代理来采取行动。

为什么重要

大多数网络安全技术提供商目前都在其现有产品中嵌入生成式人工智能 (GenAI) 助手。这些网络安全人工智能助手提供知识发现和内容创建（通常以摘要或生成代码/脚本的形式）。它们提升生产力的承诺吸引了网络安全高管。这些助手正在逐渐发展成为多模式和代理型的，这意味着它们可以用来组装自动化程序，以跨多个网络安全工具完成重复性任务。

商业影响

组织将网络安全 AI 助手作为其现有工具的一部分，并使用独立的 AI 助手进行试点。
网络安全可以提高运营人员的准确性，从而减少业务停机时间并可能减少因安全事件造成的数据丢失。
由于这些助理的优势，网络安全管理人员流动率高的组织可以从较短的培训期中受益。
网络安全人工智能助手可以帮助实现更安全的代码，修复云错误配置，生成脚本和代码，并识别日志系统中的关键安全事件。
网络安全人工智能助手的其他用例包括调整安全配置，以及进行风险和合规性识别和分析。

驱动因素

采用的最大驱动力是生成式人工智能工具和框架的广泛可用性，从而导致提供商快速采用。
网络安全人工智能助手帮助团队快速创建通用的最佳实践指南，综合和分析威胁情报，自动执行事件响应的第一步，并为应用程序安全生成补救建议。
组织持续面临技能短缺的问题，并寻找机会实现资源密集型网络安全任务的自动化。
网络风险分析师需要加快网络风险评估，并通过提高自动化程度和预先填充风险数据来提高灵活性和适应性。
更广泛地说，Gen AI 可以通过更好地聚合、分析和优先处理输入来增强现有的持续威胁暴露管理程序。它还可以生成真实的场景以供验证。

障碍

这些语音助手定价的不确定性将在很大程度上影响其普及速度。目前，只有少数供应商公布了其定价，而许多供应商则免费提供早期预览。
网络安全行业早已饱受误报的困扰。一次糟糕的“幻觉”或GenAI 的不准确响应，都可能导致组织机构对采用 GenAI 持谨慎态度，或限制其使用范围。
为 GenAI 应用实现负责任的 AI、隐私、信任、安全保障的最佳实践和工具尚未完全成熟。如果数据安全和隐私得不到保障，安全团队可能不愿启用GenAI功能。
网络安全人工智能助手的范围通常仅限于其所属的产品，从而造成洞察力的碎片化并限制其价值。
组织仍然需要利用 GenAI 来增强其核心技能。目前，采用 GenAI 可能会先增加工作量，然后才能成功减少工作量。
由于 GenAI仍在发展中，建立其广泛应用所需的信任需要时间。对于技能增强用例而言尤其如此，因为您需要增强所需的技能，才能确保推荐结果的有效性。

21、差分隐私

效益评级：低

市场渗透率：目标受众的5%至20%

成熟度：成长期

定义：差异隐私是一种在使用或共享数据的同时，保留或扭曲数据集中某些可识别个人身份的元素的方法。它使用精确的数学算法，随机地将噪声插入数据中，并在每次查询时添加用于区分性、接近度和结果多样性的参数。如果应用得当，这种方法可以防止个人数据泄露，同时确保最终分析结果不会对信息产生重大影响。

为什么重要

人们对于隐私以及在提供内容或个性化推荐的算法中使用个人数据的担忧持续存在。随着监管措施的实施，以防止未经授权使用个人数据，企业正在寻求在继续使用数据的同时保护个人身份信息的方法。差异化能力是一种可以实现这一目标的技术。

商业影响

商业数据蕴含着巨大的价值，其中很大一部分是个人数据。限制个人数据使用的法规日益增多，滥用个人数据的责任可能十分重大。企业需要确保其声誉体现出公司对客户数据的保护。在训练人工智能模型时，有许多技术可以解决隐私保护问题。差异隐私技术可以确保每行数据的隐私，同时支持对聚合数据进行有意义的分析。

驱动因素

差异隐私不仅有助于降低风险，还能解锁以前难以实现的人工智能和分析用例数据。这既涉及在组织内部创建和共享洞察，也涉及跨实体的外部创建和共享洞察。
企业可以从数据中获取有价值的见解，同时尊重道德标准并遵守有关使用（直接可识别的）个人数据的监管准则。
越来越有可能的是，将会颁布更加严格的法规，包括在算法训练中使用个人数据以及算法如何处理个人数据。
受到政府支持的、技术精湛的不法分子以窃取个人信息为目标实施欺诈行为的风险仍在上升。
信息泄露或滥用可能会严重损害商业声誉和信任。
暴露不仅限于企业控制的数据集，因为即使企业使用的数据是匿名的，恶意行为者也可以越来越多地组合数据源来重新识别个人。
差异隐私技术不会篡改源数据，因为每个查询的答案都是“动态”处理的，从而在保护使用数据的同时保留了源数据的完整性。这是与其他 PET 应用方案不同的一个关键因素。
差异隐私可以通过隐私预算以可控的方式维护信息价值，从而实现所需的匿名性。此控制选项允许进行其他选项中可能不存在的选择。
一些提供商已开始在其产品中添加协作差异隐私功能，以进一步保护隐私。

障碍

引用差异隐私使用的工具并不总是容易比较或实施。
隐私保护解决方案采用各种技术，其有效性也各不相同。组织通常缺乏一个框架来根据用例需求、技术成熟度和适用性来一致地确定合适的方法。
大多数工具都涵盖不同程度的匿名性，并关注重新识别的程度。其他部署除了重新识别保护外，还增加了对结果多样性和接近度的衡量。这可能会造成比较上的混淆。
由于差异隐私在一定程度上依赖于向数据中添加噪声，因此找到正确的级别需要进行微调。
缺乏对差异隐私的熟悉，以及缺乏部署和管理它的技术人员，阻碍了其应用。不同司法管辖区对“匿名”或“假名”数据的定义不同，加剧了这一问题。
隐私预算设定缺乏透明度（控制实施的程度，或“将 Epsilon 放在哪里”）会破坏信任，而提高透明度则可以提升信任。

泡沫破裂期

22、软件物料清单

效益评级：高

市场渗透率：目标受众的5%至20%

成熟度：成长期

定义：软件物料清单 (SBOM) 是一种结构化的、机器可读的文档，它提供了用于构建软件包的所有软件组件（开源或专有）的嵌套清单。SBOM 通过提供其所含每个组件的详细元数据，提供对软件供应链中潜在风险的可见性。它们实现了透明度、可审计性和可追溯性，从而促进了更好的风险管理以及系统和组织之间的协作。

为什么重要

Gartner 估计，新软件项目中 60% 到 80% 的代码来自第三方，其中大部分来自开源软件 (OSS) 项目。这一趋势由代码重用带来的生产力提升所驱动；然而，它也伴随着显著的利弊权衡。近年来，OSS 漏洞和供应链攻击的数量显著增加，每年的增幅达到两位数甚至三位数。SBOM 为组织提供了管理这些风险所需的可见性。

商业影响

已开发并将 SBOM 功能集成到其工作流程中的组织，可以通过有效的漏洞缓解、简化的法规遵从性以及在内部开发工作和执行并购尽职调查期间提高透明度来改善其风险状况。SBOM还为采购团队提供软件供应链风险洞察，从而为采购决策提供信息。

驱动因素

监管要求日益严格：世界各地的监管机构正在出台旨在提高软件供应链透明度并降低其风险的要求。在美国，FDA和 CISA 等机构要求或强烈鼓励将 SBOM 作为与其进行交易的先决条件。在美国以外，欧盟（例如《欧盟网络弹性法案》[CRA]）、日本药品和医疗器械综合机构 (PMDA )以及澳大利亚治疗用品管理局(TGA) 等也正在采取类似的举措。这些全球性举措凸显了 SBOM 在理解和管理软件供应链风险方面的重要性。
投资者和董事会层面关注软件风险：监管力度的加强以及备受瞩目的数据泄露事件的增多，使得网络风险成为董事会和投资者层面的首要关注事项。安全领导者越来越被期望能够清晰地洞察软件风险，并承担起管理与软件供应链相关的风险的责任。采用 SBOM 被视为网络成熟度的体现，体现了对透明度的承诺、有效的风险缓解能力，以及满足监管和利益相关者期望的准备程度。
客户和市场期望：客户日益要求其购买或集成的软件相关的供应链风险透明化。在 OpenSSF、OWASP 和 CISA 等标准机构和开源计划的推动下，全行业正朝着安全设计实践的方向发展，这进一步加剧了这种压力。许多企业买家开始在软件续订和采购流程中要求提供 SBOM，这使得透明度成为一项竞争优势。随着采用率的持续增长，无法或不愿提供 SBOM 的组织可能会失去客户信任和市场份额。

障碍

技术复杂性：每个发布的工件版本都需要一个 SBOM ，因为 OSS 组件在构建之间可能会发生变化。云原生、松散耦合的架构导致 SBOM 蔓延，迫使 SBOM 工件整合为复合的应用级 SBOM。这需要紧密的工作流集成和可扩展的 SBOM 分发、使用和信任验证方法。
组织障碍：许多组织难以将 SBOM 用例集成到现有流程中，这阻碍了投资回报率 ( ROI ) 的展示，并导致SBOM 计划的优先级降低。专业知识的匮乏以及对 IP 和许可的法律担忧进一步限制了 SBOM 的共享。
工具生态系统挑战：尽管 SBOM 的应用日益广泛，但其工具环境仍然碎片化且不成熟。许多工具无法合并来自多个工件的 SBOM，也无法与支持 SBOM 用例的流程集成。标准不一致、信任机制薄弱（例如签名和验证）以及分发不畅进一步限制了 SBOM 的实用性。

23、合成数据

效益评级：高

市场渗透率：目标受众的5%至20%

成熟度：早期主流

定义：合成数据是指人工生成的数据，而非通过直接观察现实世界获得的数据。合成数据在各种用例中被用作真实数据的代理，包括数据匿名化、人工智能和机器学习 (ML) 开发、数据共享以及数据货币化。

为什么重要

获取并标记用于人工智能开发的真实数据是一项耗时且昂贵的任务。尤其是在自动驾驶汽车模型训练等用例中，收集真实数据以覆盖所有边缘案例几乎是不可能的，甚至极其困难。这些挑战可以通过合成数据来弥补。合成数据可以快速、经济高效地生成，并且不包含个人身份信息 (PII) 或受保护的健康信息 (PHI)，使其成为一项宝贵的隐私保护技术。前沿人工智能模型的兴起凸显了合成数据作为构建可扩展模型的经济高效手段的优势。

商业影响

各行各业的采用率都在不断提高，Gartner 预测，随着合成数据的出现，其采用率还将进一步提高：

避免在通过原始数据的合成变体或部分数据的合成替换来训练 AI 模型时使用 PII。
降低 ML 开发成本并节省时间。
随着更多“适合用途”的训练数据带来更好的结果，人工智能的性能也得到了提高。
使组织能够利用最少的真实数据来探索新的用例。
更有效地解决偏见和投毒等公平问题。
能够在真实但私密的数据上进行软件测试，且不存在立法风险或缺乏此类数据。

驱动因素

在医疗保健和金融等受监管的行业中，买家的兴趣正在增长，因为合成表格数据可用于保护人工智能训练数据中的隐私。
为了满足自然语言自动化训练（尤其是聊天机器人和语音应用）对合成数据日益增长的需求，供应商正在向市场推出新产品，通常用于训练领域生成式人工智能 ( GenAI)模型。这扩大了供应商的格局，并推动了合成数据的采用。
合成数据应用已经超越汽车和计算机视觉用例，包括数据货币化、外部分析支持、平台评估和测试数据开发。
Transformer 和 Diffusion 架构是 GenAI 的架构基础，它们能够以前所未有的质量和精度生成合成数据。AI模拟技术通过更好地重现现实世界的表征，提升了合成数据的质量。
合成数据仍有扩展到其他数据类型的空间。虽然表格、图像、视频、文本和语音应用很常见，但研发实验室正在将合成数据的概念扩展到图形和多模态人工智能。合成生成的图形将与原始图形相似，但不重叠。随着企业开始更多地使用图形技术，我们预计这种方法将会日趋成熟并推动普及。
随着训练前沿人工智能模型的数据提供商提高其数据访问成本，合成数据作为一种经济替代品正越来越受到关注。

障碍

合成数据可能存在隐性偏见问题，错过自然异常，开发复杂，或者不会为现有的现实世界数据贡献任何新信息。
虽然合成数据降低了隐私风险，但一些行业（例如医疗保健、金融）仍然面临监管不确定性，即它是否能够完全取代或增强真实数据以满足合规目的。
合成数据生成方法缺乏标准化。
验证合成数据的准确性非常困难。要确定合成数据集是否准确地捕捉到了底层的真实世界环境，可能极具挑战性。
由于缺乏技能，买家仍然对何时以及如何使用该技术感到困惑。
企业拥有遗留的数据管道，将合成数据集成到现有的数据湖、分析系统和人工智能工作流中通常需要额外的努力、工具和基础设施。
用户可能会产生一定程度的怀疑，因为数据可能被认为是“劣质的”或“假的”。

24、数据安全治理

效益评级：中等

市场渗透率：目标受众的20%至50%

成熟度：早期主流

定义：数据安全治理 (DSG) 能够评估并确定由数据安全、隐私和合规性问题引起的业务风险的优先级。有效的 DSG 可帮助组织制定数据安全策略，以支持业务成果并平衡业务需求与相关业务风险。

为什么重要

跨本地和多云架构的数据激增带来了业务风险，包括安全性、隐私性和合规性，这使得制定优先风险最小化的数据安全策略变得更加复杂。DSG以数据风险评估 (DRA) 为基础，提供识别、评估、优先排序和缓解业务风险的必要方法。DSG 还通过一致的数据安全策略在业务优先级和风险缓解之间建立平衡。

商业影响

DSG 提供了一种平衡的策略，用于管理数据访问和使用，同时实施安全和隐私措施以管理数据风险。DSG需要首席信息安全官 (CISO)、首席数据和分析官 (CDAO) 以及业务负责人之间的协作，以实现数据安全指导委员会(DSSC)设定的目标。这种协作有助于克服沟通障碍，并重新调整治理工作，以最大限度地降低业务和数据风险。

驱动因素

平衡业务风险和业务成果的需求促使组织不断评估、确定优先级并管理引入各种业务风险的数据风险。
需要以风险为中心的数据安全策略来指导跨不同数据集实施一致的数据访问控制。
创建和实施全面一致的DSG 驱动的数据安全策略可以有效地减轻组织越来越多地采用的流行生成 AI 技术所带来的放大数据风险。
为了确保业务连续性，组织必须有效处理和协调用户对单个数据集访问权限的内部和外部要求。这需要考虑隐私性、机密性、完整性、可用性、业务目的和生命周期风险等因素。
组织需要开发流程来创建和协调跨多个独立数据安全和身份访问管理 ( IAM)产品的数据安全策略，以最大限度地减少数据安全策略的差距和不一致性。
没有任何单一产品能够全面降低与数据相关的业务风险，这强调了集中创建和协调数据安全功能的必要性。
越来越多的隐私法规引入了与数据驻留和主权要求相关的风险。利用 DSG 流程（包括有效的隐私影响评估 (PIA)）对于降低这些风险至关重要。

障碍

业务利益相关者对管理数据及其相关风险的责任分散，这给实施一致的数据安全策略带来了挑战。
随着组织部署多种数据安全、IAM 和应用程序原生安全产品（这些产品独立作用于非结构化或结构化数据，或利用专有数据分类），强大的 DSG 变得更加复杂。
跨本地和多云服务的数据存储和处理的动态变化可能会使一致有效的数据安全策略的创建和实施变得复杂。
DSG 要求安全团队在可用的安全控制组合中协调数据安全策略。此外，还需要定期进行数据风险评估 (DRA)，以发现业务风险增加带来的漏洞和不一致之处，或识别未满足的策略或产品部署需求，这进一步加剧了这一挑战。
由于它们实现了类似的目标，PIA 被错误地视为 DRA 的替代品。

25、网络安全预测模型

效益评级：中等

市场渗透率：目标受众的20%至50%

成熟度：成长期

定义：预测模型是一种前瞻性方法，它利用数据分析和监督式机器学习来预测事件或结果的发生。通过分析大量的网络安全数据，预测模型可以帮助网络安全团队预测针对某个组织的对抗行动的可能性。在网络安全领域，它传统上应用于欺诈检测或漏洞评估，最近扩展到威胁情报和风险管理。

为什么重要

预测模型可帮助组织根据早期可疑模式，在数据泄露之前，确定哪些漏洞更有可能被利用，从而确定安全工作的优先级。借助威胁情报，它可以实现更自动化的安全决策，例如根据异常模式阻止恶意活动。如果操作得当，它还可以汇总和分析来自本地业务环境的数据，从而提高其准确性。汇总和分析来自各种来源（包括威胁情报源、社交媒体和暗网）的数据，使组织能够识别模式，从而有助于及早发现潜在威胁。

商业影响

在当今的数字生态系统中，网络威胁日益先进、持续性和破坏性更强。传统的网络安全方法更多地依赖于被动措施，在事件发生后才采取行动。通过分析来自各种来源的数据，预测模型有助于识别模式和异常，使网络安全团队能够主动识别、评估和应对潜在风险，从而保护组织并降低其面临的威胁风险。

驱动因素

预测网络攻击并消除最有可能被利用的风险，可以降低数据泄露相关的成本，例如财务损失、声誉损害和监管处罚。企业数据泄露的平均成本高达数百万美元。
传统的网络安全措施本质上更具被动性，是在威胁发生后才做出反应。
网络安全领导者寻求一种主动的、数据驱动的方法，利用预测模型来获得预见性。这使他们不仅能够防御现有威胁，还能预测并修复潜在漏洞，防止其被利用，从而保持主动的安全态势。
预测模型使具有前瞻性的组织能够通过不断学习新数据、自身环境和信号来调整其安全计划，从而领先于新兴威胁。

障碍

数据质量和可用性：有效的预测模型需要高质量、全面的数据，但由于数据孤岛、数据集不完整或缺乏必要信息的访问，获取这些数据可能具有挑战性。
实施的复杂性：开发预测模型并将其集成到现有的网络安全框架中可能非常复杂且耗费资源，需要专业的技能和专业知识。
局限性：预测模型可能会产生误报或漏报，导致不必要的警报或错过威胁，这可能会因缺乏正确测试和衡量预测模型功效的框架而破坏对系统的信任。
威胁形势的复杂性：组织和网络安全提供商仅根据过去的检测访问威胁行为者活动的子集，这限制了预测模型可以做的事情的范围，特别是对于较新的攻击媒介。
隐私和道德问题：使用大量数据进行预测建模会引发隐私和道德问题，特别是在敏感信息的收集和分析以及提供商访问数据方面。
实施成本：开发、部署和维护预测模型所需的财务投资可能是一个障碍，尤其是对于预算有限的小型组织而言。
与现有系统的集成：确保预测模型与现有的网络安全工具和基础设施无缝协作可能具有挑战性，需要付出大量的努力和协调。

26、威胁建模自动化

效益评级：高

市场渗透率：目标受众的20%至50%

成熟度：早期主流

定义：威胁建模自动化工具可以自动创建安全需求和威胁模型。此类工具可以突出显示应用程序架构的潜在安全影响，并推荐安全编码实践或架构缓解措施。它们还可以管理威胁库、跟踪缓解措施，并将安全分析集成到软件开发生命周期 (SDLC) 中。

为什么重要

通过威胁建模来揭示安全需求，是创建设计安全的应用程序的关键。自动化工具有助于简化这一过程，使其更轻松地将安全性纳入应用程序开发的设计阶段。虽然自动化工具本身并不能保障应用程序的安全，但它们有助于创建安全的应用程序架构，并确保识别出适当且具体的安全需求。

商业影响

威胁建模自动化工具显著减少了创建和维护威胁模型、安全需求和风险评估所需的工作量。这确保了在早期就针对具体项目定义安全规范，从而降低成本和风险，而不是在开发过程的后期才定义。这种方法为组织内的多个团队带来了显著的益处，包括架构师、开发人员、安全团队，甚至业务利益相关者。

驱动因素

各类组织仍在努力创建安全的应用程序。问题包括身份验证、访问控制和数据保护等安全功能不足，以及基础安全设计缺陷，所有这些都使应用程序容易受到攻击。
安全设计计划和安全软件合规性要求使威胁建模成为一项至关重要的最佳实践。自动化威胁建模工具使这一实践更快、更具可扩展性。它们还有助于确保满足与法规和规定相关的特定要求。
现代应用程序融合了分布式云原生技术、内部和第三方 API 的日益普及以及各种 AI 形式，变得更加复杂，因此难以手动准确地对威胁进行建模。威胁建模自动化可以加快这些流程，并帮助建模人员识别所有威胁并采取相关应对措施。
快速的开发节奏限制了可用于威胁建模的时间和资源。迭代式开发方法（例如敏捷实践）意味着威胁模型必须更频繁地更新。这两个因素都给手动方法带来了压力，并增加了威胁建模范围受限甚至完全被忽略的可能性。

障碍

准确呈现快速变化的应用程序的能力仍然是威胁建模自动化工具的弱点。如今，大多数工具都需要用户干预才能随着应用程序的变化更新模型，这会导致用户放弃使用。随着供应商开始将系统直接链接到云平台或基础设施即代码文件，这种情况正在得到改善，确保更改自动反映在模型中，然后模型将自动生成更新的指导。
功能各异。免费和开源工具易于上手，但在建模更复杂的系统时却显得力不从心。这促使人们考虑商业工具，尽管其局限性限制了其对最高级用户的适用性。
大多数组织在建立应用程序安全程序时仍然注重应用程序安全测试。这些工具对于在开发阶段识别代码漏洞至关重要，但却无法在规划阶段识别设计缺陷。

稳步复苏期

27、基于机器学习的异常检测

效益评级：高

市场渗透率：超过50%的目标受众

成熟度：早期主流

定义：网络安全中基于机器学习 (ML) 的异常检测利用监督和非监督机器学习算法来识别网络流量、系统活动或用户操作中的异常或可疑行为。这些功能使用标记或未标记的数据来训练模型，可以部署在本地或云端，既可以作为基础设施安全工具中的威胁检测引擎，也可以与安全信息和事件管理 (SIEM) 等安全运营工具集成。

为什么重要

传统的基于规则的系统难以应对未知和异常攻击以及海量数据，导致误报率很高。基于机器学习的异常检测至关重要，因为它通过学习什么是正常行为，可以识别与基于规则的系统所遗漏的威胁相关的偏差。虽然基于机器学习的检测在许多网络安全解决方案中已经成熟，但安全团队必须继续改进识别恶意活动和确定响应优先级的方式。

商业影响

基于机器学习的异常检测：

帮助检测已知和新型攻击，从而最大限度地减少基于规则的系统在单独应用时失败而与 ML 结合时成功的用例中的损害、停机时间和恢复成本。
使安全团队能够通过减少检测更高级威胁的平均时间来提高运营效率。
通过支持针对各种威胁载体的检测来提高组织的防御能力。

驱动因素

威胁复杂性和数据量不断升级：网络威胁的数量和复杂程度不断增加，再加上组织活动产生的流量和数据的指数级增长，使得手动检测和基于规则的系统不足以识别表明高级攻击的细微异常。
高效安全运营的压力：安全运营团队需要检查的潜在问题数量巨大，极大地影响了 MTTD 和 MTTR，需要通过基于 ML 的技术进行自动优先排序。
防止声誉受损：利益相关者期望组织保护敏感数据。未能及时发现违规后活动可能会导致严重的声誉损害并失去客户信任。
机器学习的进步：机器学习技术的日益普及和复杂化，推动了专门针对网络安全的更有效、更用户友好的异常检测平台的开发，在实施和使用方面所需的专业知识更少。
新型攻击：新型攻击的兴起，包括利用大型语言模型 (LLM) 进行社会工程和不断出现的新恶意软件变种，需要基于行为的检测，而不是依赖已知模式。
人工智能代理的兴起：自主人工智能代理在各种运营中的应用日益增多，使得基于机器学习的异常检测变得至关重要。它通过建立代理正常行为的基线并自动标记偏差来保护这些代理，并在持续分析人工智能代理的行为以发现威胁的同时，确保自动化的安全。

障碍

与基于规则的系统相比，基于机器学习的异常检测需要进行调整，否则会导致过高的误报率，从而分散安全运营团队对真正安全事件的注意力。
建立对 ML 驱动的异常检测的信心需要明确的证据和新的验证程序，而这些验证程序需要成熟的评估过程。
广泛使用“AI”来描述检测引擎，而没有指定范围和技术，这使得基于 ML 的竞争异常检测解决方案的评估和基准测试变得复杂。
有限的内部机器学习专业知识阻碍了对这些工具全部潜力的理解，并使其与现有安全工作流程和传统基础设施的集成变得复杂。

附录：技术成熟度曲线阶段

炒作周期阶段

阶段	定义
技术萌芽期	一项突破、公开演示、产品发布或其他事件会引起媒体和业界的极大兴趣。
期望膨胀期	在这个过度热情和不切实际的预测阶段，科技领袖们大肆宣传的活动取得了一些成功，但更多的是失败，因为创新被推向了极限。唯一赚钱的企业是会议组织者和内容发布者。
泡沫破裂期	由于这项创新未能达到人们过高的期望，它很快就变得不再流行。媒体的兴趣逐渐消退，只留下一些警示性的故事。
稳步复苏期	日益多元化的组织通过专注的实验和扎实的努力，真正理解了创新的适用性、风险和效益。商用现成的方法和工具简化了开发流程。
生产力成熟期	创新的实际效益已得到验证并被接受。工具和方法在进入第二代和第三代时日益稳定。越来越多的组织对降低的风险感到安心；应用的快速增长阶段开始了。在该技术进入这一阶段时，约有20%的目标受众已经采用或正在采用该技术。
距离主流采用需要的时间	创新达到生产力成熟期所需的时间。