使用行为分析和深度证据集群实时检测内部威胁

抽象

内部威胁是现代网络安全中最严峻的挑战之一。这些威胁来自组织内滥用其合法访问权限来损害组织资产、数据或运营的个人。传统的安全机制主要为外部攻击者设计，无法识别这些微妙的上下文感知威胁。在本文中，我们提出了一种新的框架，用于使用行为分析结合深度证据聚类来实时检测内部威胁。我们的系统捕获和分析用户活动，应用上下文丰富的行为特征，并使用深度证据聚类模型对潜在威胁进行分类，该模型估计聚类分配和认知不确定性。所提出的模型可以动态地适应行为变化，并显著减少误报。我们在基准内部威胁数据集（如 CERT 和 TWOS）上评估我们的框架，与传统的聚类方法相比，平均检测准确率为 94.7%，误报率降低了 38%。我们的结果表明了在威胁检测管道中集成不确定性建模的有效性。这项研究为在各种企业环境中部署智能、自适应和强大的内部威胁检测系统提供了可作的见解。

近年来，内部威胁已成为最复杂和最具破坏性的网络攻击类别之一。与通常依赖于利用软件漏洞的外部威胁不同，内部攻击源自合法用户（员工、承包商或业务合作伙伴），他们滥用其授权访问权限来破坏关键系统和数据的机密性、完整性或可用性[3].组织环境的动态性质，加上劳动力基础设施的日益分散，加剧了识别此类威胁的挑战。

Ponemon Institute 最近的报告显示，在过去两年中，内部事件的数量增加了 47% 以上，平均每年给组织造成超过 1145 万美元的损失[6].内部攻击可能采用知识产权盗窃、破坏、间谍活动或数据泄露的形式，并且可以在不触发传统安全警报的情况下发生。传统的安全解决方案，如基于签名的入侵检测系统 （IDS） 和防火墙，主要是为检测外部对手而定制的。因此，他们无法检测到内部活动所特有的细微行为偏差[7].

机器学习 （ML） 和深度学习 （DL） 技术能够从大量数据中学习复杂模式，因此在网络安全领域受到关注。在内部威胁检测的背景下，这些模型通常用于通过基于历史活动日志构建用户行为配置文件来捕获与正常行为的偏差[1,16,20].为此，已经部署了监督分类、聚类和异常检测等方法[4,18].然而，这些方法通常存在三个关键限制：高假阳性率、难以适应概念漂移以及无法量化其预测的置信度。

首先，行为数据本质上是嘈杂的、依赖于上下文的和非平稳的。文件访问活动的突然激增可能是良性的或恶意的，具体取决于作环境。硬聚类技术（如 k-means 和 DBSCAN）不适合此类场景，因为它们在不考虑潜在不确定性的情况下做出清晰的决策[5,14,17].其次，内部行为通常会模仿合法行为，使受监督的方法效果不佳，尤其是在标记数据稀缺或不完整时[2,13,15].第三，大多数黑盒模型中缺乏可解释性和置信度指标，这削弱了它们在实际系统中的可用性，安全分析师必须对警报进行优先级排序和验证。

为了应对这些挑战，我们提出了一种新的框架，将行为分析与深度证据聚类 （DEC） 集成在一起，以实时检测内部威胁。我们的系统捕获用户活动日志（包括登录会话、文件访问模式、进程执行和命令使用情况），并使用递归神经网络 （RNN） 构建临时行为嵌入。然后，这些嵌入由深度证据神经聚类模块处理，该模块通过狄利克雷分布估计聚类分配和该分配的不确定性[9,12].这种双重预测机制有助于以不同程度的置信度识别异常行为，使系统能够标记模棱两可的案例以供人工审核，同时自主对高置信度威胁进行分类[19,18].

与以前的方法不同，我们的框架旨在通过整合在线学习功能来处理动态环境。我们不断更新用户行为基线，使系统能够适应组织变化和季节性模式。与仅优化聚类紧凑性的传统深度聚类模型相比，我们的证据方法将损失函数正则化，以鼓励信息丰富的不确定性估计和对噪声输入的鲁棒性。

我们在 CERT Insider Threat Dataset 和 TWOS 合成数据集上评估了拟议的系统。这些数据集模拟各种恶意内部活动，例如数据盗窃、特权滥用和破坏。我们的实验表明，与传统方法（包括 k-means、Isolation Forest 和基于自动编码器的检测器）相比，基于 DEC 的方法实现了 94.7% 的检测准确率，并将假阳性率降低了 38% 以上[10,11].结果还表明，对概念漂移的适应能力更好，在行为方差下错误分类的情况更少。

所提出的方法具有几个实际意义。首先，它可以部署在安全运营中心 （SOC） 中，作为警报分类的智能预过滤器。其次，不确定性感知框架支持主动学习，其中模棱两可的样本被上报给人类分析师进行标记。最后，该系统支持金融和医疗保健等行业的监管合规性，在这些行业中，内部威胁的破坏性特别大，并且通常受到审计要求的约束。

这项工作的新颖性在于三个主要方面：（1） 在网络安全应用的集群领域中集成深度证据学习，（2） 制定具有不确定性感知的实时行为分析管道，以及 （3） 在大规模、真实世界数据集中展示其卓越性能。我们的方法在自动化和人工监督之间提供了务实的权衡，这对于高风险的决策环境至关重要。

本文的主要贡献总结如下：

• • 

  我们提出了一个深度证据聚类框架，该框架使用狄利克雷分布对用户行为进行建模并量化聚类分配的不确定性。

• • 

  我们的方法结合了时间嵌入和在线学习，以适应用户行为中的概念漂移，随着时间的推移提高检测可靠性。

• • 

  我们通过对认知不确定性进行建模，显著减少误报并提高可解释性，从而提高警报对安全团队的实用价值。

• • 

  对基准数据集的广泛评估表明，与最先进的方法相比，我们的系统具有卓越的准确性、适应性和稳健性。

本文的其余部分组织如下。第二节讨论了相关工作和现有方法的局限性。第 III 节描述了我们的系统模型，包括形式定义和数学基础。第 IV 部分介绍了实验设置、数据集和结果。最后，第五节对论文进行了总结，并概述了未来研究的方向。

在过去十年中，内部威胁检测引起了网络安全研究界的极大关注。本节回顾了与内部威胁检测、行为分析、聚类方法和不确定性建模相关的最新工作。我们专注于大约十项近期有影响力的研究。

Tuor 等人。[1]提出了一种早期的基于深度学习的系统，用于检测结构化活动日志中的内部威胁。他们的无监督深度神经网络模型从用户活动序列中学习潜在特征，并根据重建误差检测异常。虽然他们的方法有效地捕获了复杂的行为模式，但它缺乏解释或量化预测不确定性的能力，这限制了现实世界安全作的可信度。

Green 等人。[3]开发了一种使用长短期记忆 （LSTM） 网络的监督学习方法，以识别企业网络中的异常活动序列。他们的模型能够学习时间依赖性，并且在 CERT 内部威胁数据集上表现良好。然而，监督方法在很大程度上依赖于标记的训练数据，由于其稀有性和微妙性，内部威胁很难获得这些数据。这限制了他们的方法在实时部署中的通用性。

Rahman 等人。[6]提出了全面的系统文献综述，将内部威胁检测方法分为基于签名、基于异常和混合的方法。他们强调需要能够处理概念漂移和行为模糊的自适应、数据驱动模型。然而，该研究还指出，很少有现有模型包含不确定性估计，这对于解释模型置信度和减少警报疲劳至关重要。

Chandola 等人。[5]提供了适用于网络安全的异常检测技术的基础调查。他们讨论了统计、基于距离、聚类和基于神经网络的方法，分析了它们在各个领域的适用性。虽然这项工作被广泛引用，但它缺乏对内部特定威胁动态的关注，尤其是那些涉及用户行为随时间变化的威胁动态。

Camacho 等人。[2]提供了最近的一项调查，重点是网络安全的异常检测，突出了深度学习模型和基于注意力的架构的日益广泛使用。该综述强调了混合模型的需求，这些模型需要结合监督学习和无监督学习，同时还集成了情境感知。然而，该研究还揭示了在检测管道中使用证据学习或不确定性量化方面的差距。

Gavai 等人。[8]引入了 RADISH，这是一种使用集成方法在异构数据流中进行实时异常检测的系统。他们的模型并行处理网络、主机和用户行为数据，并使用决策树融合预测。虽然 RADISH 改善了检测延迟，但它仍然依赖于固定阈值和确定性输出，为内部活动中常见的不确定或模糊事件提供有限的支持。

Zhang 等人。[10]探索了用于用户行为建模的集成学习技术，包括随机森林和梯度提升。他们的方法在 TWOS 数据集上取得了强大的分类性能。然而，他们的方法缺乏适应性，可能会过度拟合已知行为，难以检测零日攻击或新型内部攻击。

Buczak 和 Guven[7]对用于入侵检测的机器学习方法进行了全面调查，包括监督分类器、聚类算法和集成模型。作者强调了可扩展性和实时性能的重要性。尽管有优势，但该调查并未解决可解释性和不确定性，这两者都对于在网络安全中实施 ML 至关重要。

Guh 等人。[9]提出了深度证据聚类 （DEC），这是一种使用狄利克雷分布估计聚类分配不确定性的新方法。虽然最初是为一般异常检测任务而开发的，但由于能够对认知不确定性进行建模，他们的框架在安全应用中具有强大的潜力。然而，他们的工作并没有将这种方法专门应用于行为网络安全或内部威胁场景。

Lashkari 等人。[4]专注于通过识别现有基准数据集中的局限性来创建更好的入侵检测数据集。他们介绍了 CICIDS 和 BoT-IoT 数据集，其中包括更广泛的攻击向量和行为指标。虽然这些数据集提高了评估的真实性，但它们仍然偏向于外部攻击，并且没有完全捕捉内部行为的细微差别，例如特权滥用或长期破坏。

差距和研究机会摘要：

从文献中，我们确定了几个明显的研究差距。大多数现有的内部威胁检测系统要么使用确定性聚类，要么使用监督学习，而不估计模型的不确定性。这可能会导致误报和被忽视的威胁，尤其是在行为模仿正常活动的模棱两可的情况下。此外，有限的工作将不确定性建模与深度聚类相结合，形成一个完全无人监督的自适应行为分析管道。

只有少数研究，例如 Guh 等人。[9]已经探索了证据聚类，但他们尚未将此概念应用于网络安全或对时间行为进行建模。此外，虽然调查[6,2]强调漂移适应、不确定性量化和可解释性的重要性，内部威胁检测中很少有具体实现真正同时解决所有这些因素。

我们的贡献：我们的工作通过开发专门为内部威胁检测量身定制的深度证据集群框架来解决这些限制。我们将行为序列建模、不确定性量化和在线漂移适应结合在一个统一的实时系统中。与以前的工作不同，我们的方法使用狄利克雷分布量化预测的置信度，显着提高了可解释性并减少误报——这是实际 SOC 环境中的关键要求。

我们定义了一个实时内部威胁检测系统，该系统由以下组件组成：行为特征提取器、深度编码器、证据聚类头以及漂移和不确定性感知异常检测器。该系统处理用户活动序列，将它们编码为潜在表示，使用狄利克雷分布对不确定性进行建模，并标记异常或不确定的行为。

让𝒱={v1,v2,…,vn}表示一组n用户。每个用户v我生成行为序列𝒳我={x我⁢1,x我⁢2,…,x我⁢T}多T时间步长，其中x我⁢t∈ℝd是一个d特征的维向量（例如，文件访问、登录、命令）。

编码器fθ将序列映射到 latent 向量：

哪里z我∈ℝk是一个k-维度表示。

神经网络gφ然后估计狄利克雷参数：

哪里α我=[α我⁢1,…,α我⁢K]为K集群。

预期的集群分配为：

总置信质量：

导致不确定性估计：

为了检测不断演变的行为，我们定义了嵌入漂移：

使用 EWMA 更新时间基线：

我们将不确定性和漂移组合成一个异常分数：

如果出现以下情况，则会触发警报：

损失函数包括预测项和正则化项：

该算法详细说明了使用不确定性和行为漂移检测内部威胁的过程。首先，用户活动序列被编码到一个潜在空间fθ.狄利克雷头gφ估计具有相关不确定性的软集群分配。EWMA 用于跟踪行为基线，重大偏差或高不确定性会触发警报。异常分数s我支持精细的威胁排名，使框架既具有自适应性又可解释性。

我们使用两个基准数据集评估拟议的内部威胁检测框架：CERT 内部威胁数据集 （r6.2） 和 TWOS 数据集。这些数据集模拟了真实的企业环境，其中标记了内部行为，例如数据盗窃、策略违规和特权滥用。

该模型是使用 PyTorch 2.0 在 Python 中实现的。编码器是一个隐藏尺寸为 64 的 2 层 GRU，后跟一个完全连接的证据头，带有 softplus 激活功能。使用 Adam 优化器进行 200 个 epoch 的训练，学习率为 0.001，批量大小为 128。Dropout withp=0.3以防止过度拟合。该系统在配备 Intel Xeon CPU、32 GB RAM 和 NVIDIA RTX 3080 GPU 的机器上运行。

我们使用以下指标进行评估：

• • 

  准确性：正确识别的威胁与正常行为的百分比。

• • 

  精度、召回率、F1 分数：评估类不平衡下的分类质量。

• • 

  误报率 （FPR）：错误标记的良性用户的比率。

• • 

  AUC-ROC：二元分类的 ROC 曲线下面积。

图 1 显示了我们的深度证据聚类模型在两个基准数据集（CERT 和 TWOS）上的训练时期的表现。对于这两个数据集，该模型都表明，随着训练的进行，检测准确性会稳步提高。CERT 的最终准确率约为 94.7%，而 TWOS 达到 92.8%，表明在不同威胁环境中的行为一致。性能提升可归因于该模型通过其时间编码器和不确定性感知聚类学习用户行为的有效表示的能力。值得注意的是，后期 epoch 中方差的减少反映了模型的稳定性，以及它对内部行为日志中固有噪声的鲁棒性。两个数据集的高最终准确性证实了我们的框架在识别异常模式方面的泛化能力。

图 2 显示了分配给真阳性和假阳性的不确定性分数的核密度估计。我们观察到，真阳性通常表现出较低的不确定性值（接近零），而假阳性则显示出更广泛的分布，在较高的不确定性值时达到峰值。这种明显的分离表明，我们的模型在区分自信分类的威胁与模棱两可或边缘情况方面的认识不确定性是有效的。通过利用这些不确定性信息，系统可以优先考虑低确定性警报以供人工分析师审查，从而减少安全环境中的噪音和运营开销。这种分离是证据聚类相对于硬标签分类器的一个关键优势。

图 3 比较了我们提出的方法与传统基线聚类模型之间的假阳性率 （FPR）。基线系统报告的假阳性率为 12.3%，而我们的证据聚类模型实现了 7.6% 的 FPR，显着降低。这种减少主要是由于不确定性驱动的筛选，它允许系统抑制可能是误报的模棱两可的预测。实际上，这意味着更少的不必要的安全警报，减轻安全分析师的负担，从而提高整体效率。较低的 FPR 在内部威胁检测中尤为重要，因为过多的误报会削弱对自动化系统的信任。

图 4 说明了不同决策阈值中真阳性率（灵敏度）和假阳性率之间的权衡。我们的模型实现了大约 0.93 的高曲线下面积 （AUC），表现出出色的判别能力。这种高 AUC 表明该模型有效地将良性行为与内部威胁区分开来。曲线的凸形远高于对角线随机猜测线，验证了证据聚类机制的预测能力。这一性能证实，将行为特征与不确定性建模相结合可以提高内部威胁检测系统的稳健性和可靠性。

图 5 显示了系统如何响应不断增加的行为漂移水平，通过潜在嵌入随时间的变化来衡量。随着漂移幅度的增加，检测灵敏度急剧上升，接近饱和。此行为反映了模型对偏离用户历史行为基线的响应能力。漂移敏感评分机制在动态企业环境中至关重要，恶意内部人员可能会逐渐改变行为以逃避检测。通过捕获细微的变化，该系统可确保及早识别威胁，从而减少潜在的损害。

图 6 绘制了所有用户的异常分数分布。分数分布是双峰的，表示两个不同的组：正常行为（低分）和异常行为（高分）。这些模式之间的分离实现了基于阈值的直接警报。大多数良性用户集中在阈值以下（例如，分数 ¡ 1.0），而恶意异常值聚集在阈值以上。这种分离验证了评分函数s我=u我⋅d我⁢j作为实时异常检测的有意义指标。该发行版还支持针对不同组织风险容忍度的可调决策阈值。

图 7 可视化了潜在空间中用户嵌入的聚类。观察到两个主要集群，分别代表典型和异常行为。每个点都对应于用户的潜在表征，聚类分离显示了模型在隔离可疑模式的同时对相似行为进行分组的能力。证据聚类的使用确保了软分配，集群之间经常出现不确定的情况。这种可视化对于可解释性很有价值，并支持安全分析师理解模型决策。明确的分离突出了我们的框架相对于黑盒检测器的可解释性优势。

这些结果证实，对认知不确定性和行为动态进行建模可显著提高威胁检测的保真度、可靠性和信任度。

在本文中，我们提出了一种使用行为分析和深度证据聚类实时检测内部威胁的新框架。通过将用户活动序列的时间嵌入与不确定性感知聚类方法相结合，我们的模型不仅实现了高检测准确性，还显著减少了误报——这是实际网络安全应用的基本要求。认知不确定性估计的结合可以更好地确定警报的优先级，并支持在模糊条件下进行自适应决策。在两个基准数据集（CERT 和 TWOS）上的实验结果表明，我们的方法在准确性、对概念漂移的稳健性和可解释性方面具有卓越的性能。我们的主要贡献包括设计了一个基于狄利克雷的聚类头，用于对软聚类分配进行建模，一个基于不确定性和行为漂移的异常评分机制，以及一个用于可解释性的可视化组件。这些共同构成了一个适用于现代企业环境的强大且可部署的系统。

对于未来的工作，我们计划采用主动学习机制，其中高不确定性样本被升级以进行人工标记，以随着时间的推移提高检测精度。我们还旨在通过包含其他指标（如击键动态、设备使用模式和跨平台活动日志）来扩展行为特征空间，从而更全面地了解用户行为。此外，在实际 SOC 环境中部署该框架将使我们能够评估长期适应性和运营可扩展性。最后，我们打算探索使用对比和自我监督的预训练技术来增强泛化，特别是在低标签或零镜头场景中。

最终，我们的方法弥合了内部威胁检测的可解释性和性能之间的差距，为网络安全领域的自适应和值得信赖的 AI 设定了新的方向。