利用大型语言模型增强边缘云 AI 系统安全性

抽象

随着边缘计算和云系统在 AI 驱动应用中的广泛应用，如何在确保数据隐私的同时保持高效性能已成为一个紧迫的安全问题。本文提出了一种基于联邦学习的数据协作方法，以提高边缘云 AI 系统的安全性，并使用大规模语言模型 （LLM） 来增强数据隐私保护和系统鲁棒性。该方法基于现有的联邦学习框架，引入了安全的多方计算协议，通过使用 LLM 优化分布式节点之间的数据聚合和加密过程，以确保数据隐私并提高系统效率。通过结合先进的对抗性训练技术，该模型增强了边缘云 AI 系统对数据泄露和模型中毒等安全威胁的抵抗力。实验结果表明，所提方法在数据保护和模型鲁棒性方面比传统的联邦学习方法提高了15%。

索引术语：

在当前人工智能 （AI） 技术的快速发展中，边缘云计算和联邦学习 （FL） 已成为提高 AI 系统安全性和隐私保护的关键技术。随着技术的不断进步，AI 模型的大小和复杂性也在不断变化。这使得传统的集中式训练和推理方法面临前所未有的挑战[1,2,3].集中式方法往往要求所有数据都集中存储和处理，这无疑增加了数据隐私泄露的风险，尤其是在隐私要求极高的行业，例如医疗保健和金融。

此外，随着数据量的增长，通信延迟和计算资源的瓶颈成为制约系统效率的主要因素。特别是在物联网 （IoT） 和智慧城市等用例中，由于分布式设备的多样性和局限性，这些问题尤为突出[4,5].因此，如何在保证数据隐私的前提下实现高效、安全的 AI 模型训练和推理，成为亟待解决的关键问题。联邦学习作为一种分布式机器学习方法，通过在本地设备上训练模型并且仅共享模型更新而不是原始数据来有效解决数据隐私泄露和安全问题。在联邦学习的框架下，数据不再需要传输到中心服务器，可以降低数据泄露的风险，增强用户对数据隐私的控制[6].然而，尽管联邦学习在保证数据隐私方面具有独特的优势，但也面临着一些挑战。

此外，边缘设备的计算能力通常有限，尤其是在资源受限的环境中，处理大规模数据和训练复杂模型可能会产生大量的计算开销。联邦学习中每个节点的数据通常具有高度异构性，这使得模型训练过程中的数据分布不均匀，导致全局模型的收敛速度变慢。医疗保健 AI 中类似的数据异构挑战已通过高级预处理和集成方法成功解决[7]，这表明类似的方法可能有利于联邦学习优化。此外，频繁的数据传输和模型聚合可能会增加通信延迟，进而影响整个训练过程的效率[8,9].因此，如何在边缘云环境中优化联邦学习的训练效率和安全性，成为当前研究的热点问题。例如，最近的工作试图通过元学习方法解决这些异质性挑战[10]和基于不确定性的方法[11]这可以在保持计算效率的同时实现性能改进。

生成模型在自然语言处理方面表现出了出色的能力[12,13]和近年来的生成任务[14,15,16,17,18,19].其中，GPT 和 BERT 等大型语言模型在文本生成、情感分析、音乐创作和断言检测等多个领域都取得了令人瞩目的成就[20,21,22,23,24,25].这显示了 LLM 在数据安全方面的潜力。通过深入的语义理解，大型语言模型能够有效地处理、生成复杂数据并进行推理[26,27,28].将 LLM 应用于边缘云 AI 系统，不仅可以提高模型的智能水平，帮助系统更好地理解和处理各种复杂任务，还可以通过生成模型优化数据聚合和模型更新过程。

具体来说，LLM 可以通过对边缘设备数据的智能分析，有选择地加权不同节点的贡献，从而避免过多的数据传输，减少数据聚合时不必要的计算资源消耗。此外，LLM 还可以在模型训练过程中指导对抗样本的生成，以优化模型的鲁棒性[29].但是，LLM 具有很高的计算和存储要求，并且模型通常需要大量的计算资源和存储空间，这使得它们在边缘设备上的部署具有挑战性。如何在资源受限的边缘设备上高效部署和运行 LLM 仍然是一项亟待解决的技术挑战。

Desai 等人。[30]提出了一种结合强化学习、LLM 和边缘智能的负载均衡方法，以提高动态云环境中的负载分配效率。该方法利用 LLM 的自然语言处理能力，实时分析系统状态和用户需求，从而动态调整任务分配策略。Jin 等人。[31]提出了一个可扩展性优化框架，该框架将用于自适应负载分配的强化学习和用于基于云的 AI 推理服务中需求预测的深度神经网络相结合。Tang 等人。[32]提出了一种基于大规模语言模型增强边缘 AI 运行时环境安全性的方法。该方法利用 LLM 的语义理解能力，通过对运行时进行细粒度的安全分析来检测潜在的安全威胁。

Hasan 等人。[33]提出了一种基于大规模语言模型的边缘设备分布式威胁情报方法。该方法将轻量级机器学习模型部署到边缘设备上，以实时分析本地数据流，例如网络流量和系统日志，以识别潜在的安全威胁。Yang 等人。[34]为云平台提出了一种基于 LLM 的网络流量监控和异常检测系统，该系统将 transformer 注意力机制与监督学习框架相结合，以捕获网络流量序列中的复杂模式。Shen 等人。[35]提出了一种基于大规模语言模型的自主边缘 AI 系统，旨在实现互联智能。该系统利用 LLM 的语言理解、规划和代码生成功能来自动组织、调整和优化边缘 AI 模型，以满足用户的多样化需求。

Bhardwaj 等人。[36]回顾了边缘计算环境中大规模语言模型的集成和优化。本文综述了 LLM 在边缘 AI 中的应用现状，分析了其在隐私保护、安全性和计算效率方面的优势和挑战。同时，讨论了 LLM 与边缘计算的集成，以及如何通过优化模型结构和算法来提高系统的性能和适应性。

Zhang 等人。[37]提出了一种自适应资源分配系统，该系统使用强化学习来减少计算负载并缩短响应时间。通过利用边缘-云协作框架，边缘设备处理部分计算，云提供额外的计算能力，该系统提高了效率和可扩展性。通过利用大规模语言模型，Xu 等人。[38]旨在提高 Mobile Edge Intelligence 的效率，以实现更高效的响应和智能系统。

联邦学习 （FL） 是一种分布式机器学习方法，它允许多个节点在本地训练模型，同时通过中央服务器聚合每个节点的更新参数，而无需直接交换原始数据。核心目标是在保持全局模型准确性的同时实现数据隐私保护。假设有NEdge 节点，每个节点我保存本地数据集D我，我们在每个节点上进行本地训练，模型的更新由以下公式 1 表示：

哪里θ我t是 node 的参数我在t-th 迭代，ℒ⁢(θ我t,D我)是损失函数，∇θ我ℒ是损失函数相对于参数的梯度， 和η是学习率。

在传统的联邦学习中，每个节点都会计算自己的梯度并将其传输到中央服务器。服务器执行聚合作并更新全局模型参数。聚合运算通常使用简单的加权平均方法，例如公式 2：

这种方法确保了每个节点对全局模型的贡献是公平的，但由于不涉及加密或保护措施，因此数据隐私和安全性较弱。在联邦学习中，可以使用 SMC 协议对每个节点的梯度更新进行加密，确保各方在聚合过程中不会泄露任何敏感信息。具体来说，当每个节点更新其模型时，它首先通过 SMC 协议对其梯度更新进行加密，然后将加密后的梯度传输到中央服务器进行聚合。聚合作现在在加密空间中执行，更新的公式如公式 3 所示：

服务器聚合所有加密的梯度以获得加密的全局模型更新，如公式 4 所示：

聚合后的加密模型参数通过安全的通信协议传回给各个节点，节点执行解密作以获得更新的全局模型。通过 SMC 协议，数据隐私得到有效保障。

为了能够将 LLM 有效地集成到联邦学习和安全多方计算 （SMC） 中，我们提出了一种分层协调机制。在训练阶段，LLM 对加密元数据进行作，总结每个节点的梯度趋势、损失情况和更新频率。LLM 使用它来推断质量信号并指导全局服务器，包括：

• • 

  通过基于公式 5 的动态注意力加权确定节点更新的优先级;

• • 

  通过分析特征漂移和方差来识别潜在的对抗行为;

• • 

  仅当隐私风险超过学习的阈值时，才触发 SMC 增强的选择性聚合。

LLM 在半集中式控制回路中运行，其输出用于控制联合调度、隐私协议（例如，强制执行 SMC 的频率）以及边缘节点的自适应参与。这种集成通过在风险较低时减少不必要的加密计算来优化隐私和效率。

在本小节中，我们介绍了一个大规模语言模型 （LLM） 来提高数据聚合的效率和准确性，并利用其强大的语义理解能力来改善联邦学习中的数据协作。LLM 用于对每个节点的梯度更新进行加权，以优化数据的聚合过程、减少噪声并提高模型的稳健性。

假设 node 上传的加密梯度我在t-th 迭代是θ~我t+1.在数据聚合中，LLM 用于计算权重w我t+1，具体取决于节点的更新方式我在历史迭代中表现。我们可以用以下公式 5 来表示：

哪里性能⁢(我)是 Node 的性能指标我在之前的迭代中（例如模型准确率、训练损失等），以及α是用于控制权重敏感度的调整参数。使用此加权策略，节点提供的模型更新将进行调整，以反映其历史性能的优先级。

在实践中，LLM 利用结构化提示对节点摘要执行轻量级推理，例如历史准确性趋势、与全局模型的更新差异、通信延迟和安全警报元数据。基于这些，它生成一个分数向量，该向量用作公式 5 中的加权系数。对于对抗性样本生成，LLM 使用学习到的攻击启发式方法（通过提示模板）来识别易受攻击的特征空间，指导方程 8 中的扰动向量。聚合运算的公式更新为公式 6：

在此过程中，LLM 自适应地调整重量w我t+1，增强了在大数据异构性环境中的模型聚合效果。

此外，为了保证节点之间的通信和计算效率，我们还可以通过以下优化公式来调整每个节点发送梯度的频率，以适应网络的不同情况，例如方程 7：

哪里f我表示节点我参与当前轮次更新，并且F是一组可选的频率，∥⋅∥2是 L2 范数，用于测量更新中的更改。

假设模型的输入数据为x，则其对应的标签为y，模型的预测为y^=f⁢(x,θ)哪里θ是模型的参数。

在对抗性训练过程中，我们需要生成对抗样本x′，因此它对模型预测有影响，如公式 8 所示：

哪里‖δ‖p≤ε是对抗性扰动的极限，ε控制扰动的大小，以及L是损失函数。这δ对抗扰动是通过最大化损失函数生成的，这使模型能够学习如何在面对扰动时保持其稳定性。

在联合训练期间，我们需要最小化包括对抗性损失在内的总损失函数，如公式 9 所示：

哪里λ是正则化参数，用于控制对抗性训练的强度，而L高级是对抗性损失，它表示模型在对抗性扰动下的性能。

我们实现了一个受 Paillier 密码系统启发的基于加法同态加密的 SMC 协议。每个节点在传输前都使用公钥加密其梯度向量。中央聚合器计算加密空间中的加权和，并将结果发送回每个节点进行解密。重要的是，LLM 可以识别何时对抗行为或统计异常需要完整的 SMC 计算，而不是回退轻量级掩码方案。

该实验使用了来自 DataPort 的真实数据 Edge-IIoTset，该数据集专为物联网 （IoT） 和工业物联网 （IIoT） 应用中的网络安全研究而设计，特别是用于联合学习和边缘计算环境中入侵检测系统 （IDS） 的开发和评估。

我们选择了四种相关的对比方法，包括：

• • 

  原版联邦学习 （VFL）：这种方法是联邦学习的基本实现，其中每个参与节点在本地训练模型，只将模型参数更新传输到服务器进行聚合。

• • 

  基于差分隐私的联邦学习 （DP-FL）：此方法结合了差分隐私技术来保护数据隐私。在联邦学习过程中，通过添加 noise 来打乱模型更新，以防止节点泄露私有数据。

• • 

  安全的基于计算的多方联邦学习 （SMC-FL）：此方法通过引入安全的多方计算协议来增强联合学习的安全性。在这种方法中，多方协同工作以计算模型更新，而无需共享私有数据。

• • 

  基于同态加密的联邦学习 （HE-FL）：联邦学习采用同态加密技术，在传输过程中保护模型更新数据，通过对数据进行加密，确保即使数据在传输过程中被截获，也无法被解读。

通信延迟衡量的是联合学习过程中模型更新和节点之间聚合的时间消耗。较低的通信延迟意味着系统在模型训练方面更加高效。

图 1 显示，所提出的方法（我们的）在通信延迟方面明显优于其他比较方法（VFL、DP-FL、SMC-FL 和 HE-FL）。具体来说，我们方法的延迟更低、更稳定，表明该方法在优化计算效率和减轻通信负担方面表现出色。其他方法（如 SMC-FL 和 HE-FL）虽然在安全性方面提供了增强的保护，但通常具有较高的通信延迟，尤其是在处理大规模数据时，其中通信负载和加密作会增加延迟。

图 2 的结果表明，所提方法在面对对抗样本时表现出显著优势，精度相对稳定，下降幅度较小，表明我们的方法对对抗样本具有很强的抵抗力。相比之下，其他方法 （例如 VFL、DP-FL、SMC-FL 和 HE-FL） 在多轮训练后显示出不同程度的准确性损失，尤其是在更高轮次的训练中。

综上所述，本研究提出了一种基于联邦学习的数据协作方法，通过结合大规模语言模型 （LLM）、安全多方计算和对抗性训练技术，显著提高边缘云 AI 系统的安全性、隐私保护和计算效率。实验结果表明，所提方法在通信延迟、隐私保护和对抗样本鲁棒性方面优于现有的对比方法，并表现出较高的系统安全性和计算性能。然而，随着边缘设备和数据量的不断增长，如何进一步优化计算效率、提高通信效率、增强系统可扩展性仍然是未来研究的重点。未来的工作可以探索更有效的隐私保护机制和更多的安全协议，以应对复杂的网络攻击和数据泄露。