当前位置：首页 > news >正文

利用基于LLM的概念提取和FakeCTI数据集提升网络威胁情报对抗虚假信息活动的能力

news 2025/5/14 11:03:24

摘要

虚假新闻和虚假信息宣传活动的迅速蔓延对公众信任、政治稳定和网络安全构成了重大威胁。传统的网络威胁情报（CTI）方法依赖于域名和社交媒体账号等低级指标，很容易被频繁修改其在线基础设施的对手规避。为了解决这些局限性，我们引入了一种新型CTI框架，该框架侧重于从虚假信息宣传活动的重复叙述和关系中提取的高级语义指标。我们的方法从非结构化的虚假信息内容中提取结构化的CTI指标，利用大型语言模型（LLM）捕获关键实体及其在虚假新闻中的上下文依赖关系。我们进一步推出了FakeCTI，这是第一个系统地将虚假新闻与虚假信息宣传活动和威胁行为者联系起来的数据集。为了评估我们的CTI框架的有效性，我们分析了多种虚假新闻归因技术，涵盖了从传统的自然语言处理（NLP）到微调的LLM。这项工作将重点从低级人工制品转移到持久的概念结构，从而建立了一种可扩展且适应性强的方法来跟踪和对抗虚假信息宣传活动。

关键词：网络威胁情报，虚假信息，假新闻，大型语言模型

1. 引言

近年来，虚假新闻的泛滥已成为对全球信息完整性的重大威胁。虚假新闻包含误导性和虚假内容，其目的是为了误导、操纵和欺骗受众，以服务于特定目的[1, 2, 3]。恶意行为者精心策划这些叙事，以影响公共舆论、左右政治决策并扰乱社会和谐。社交媒体平台的广泛采用进一步加剧了这个问题，使得虚假信息的传播以前所未有的规模迅速蔓延[4, 5, 6, 7]。因此，区分真实内容和欺骗性内容变得越来越具有挑战性。

为了应对这种日益增长的威胁，安全分析师利用网络威胁情报（CTI）来跟踪和缓解虚假信息宣传活动。这种CTI包括由分析师分类为虚假内容的网络文章和社交媒体帖子链接，以及创建它们的域名和社交媒体帐户。然而，这种CTI受到与用于网络攻击的“传统”CTI相同问题的影响，其中包括网站域名、IP地址和主机名。攻击者可以很容易地修改他们的攻击，使其无法被CTI识别，例如，通过购买新的域名。同样的逻辑适用于虚假信息和假新闻，攻击者可以创建新的网站或社交媒体帐户来逃避检测。

Pyramid of Pain [8], 突出了这个问题，这是一个为基于网络的 CTI 设计的框架，它将低级指标归类为易于绕过，而更高级别的情报对于对手来说则更难逃避。图 1 描述了我们如何将 Pyramid of Pain 应用于虚假信息领域，说明了不同类型的情报在持久性和抵抗操纵方面的差异。为了有效，针对虚假新闻的 CTI 必须超越易于修改的伪造品，并捕获虚假信息操作的持久要素。我们对 Pyramid of Pain 在虚假信息方面的改编将重点从技术伪造品转移到基于内容的指标。虽然传统的 CTI 依赖于 IP 地址、域名和哈希等低级指标，而对手可以迅速修改这些指标，但虚假信息活动同样利用了易于替换的网站域名和社交媒体句柄。为了制定更具弹性的策略，我们的模型将重点转移到支持虚假信息操作的持久叙事结构和行为模式上。与网络伪造品不同，核心叙事无法轻易改写，因为它们构建了威胁行为者所宣扬的基本观点。

本研究旨在提取构成虚假新闻活动的基本要素，以便识别来自同一攻击者的新虚假内容，并使其能够应对文本修改以及域名和帐户的变化。为了解决传统CTI方法在应对虚假信息方面的局限性，我们引入了一种基于概念的CTI框架，该框架捕获了虚假信息活动中的叙述和关系。与主要依赖于低级技术特征的传统CTI指标不同，我们的方法提取了高级的、基于内容的智能，即使威胁行为者修改其活动的表面要素，这种智能仍然存在。我们的方法基于通过元组对虚假信息叙述的结构化表示，这些元组封装了关键实体、它们之间的关系以及虚假新闻文章中的上下文依赖性。这些结构化表示可以实现更强大的归因和变体检测，因为它们侧重于核心意义和意图，而不是特定的语言表达。我们采用大型语言模型（LLM）来自动提取和分析这些结构化指标，从而有效地将非结构化叙述转换为结构化情报。此外，我们分析了多种分析技术，从词汇和语义相似性方法到微调的LLM，以识别与现有虚假信息活动相一致的新虚假新闻变体，即使内容的语言和呈现方式发生了改变。

图1：传统型和以虚假信息为导向的痛苦金字塔。

本研究的主要贡献如下：

1. 基于概念的CTI指标提取：我们提出了一种新颖的方法来提取结构化的CTI指标，这些指标通过关键实体、关系及其上下文连接来表征虚假新闻叙事。这种结构化的表示通过关注主题和关系的一致性，实现了稳健且适应性强的归因。通过编码虚假新闻内容的核心含义，这些指标能够检测新的活动变体，并将不断演变的信息战努力与先前识别的攻击组织联系起来。提取的情报被表示为结构化的元组，这些元组捕获了虚假信息叙事中的基本行动和关系，确保了可扩展且一致的格式以供进一步分析。

2. FakeCTI数据集：为了促进该领域的研究，我们推出了FakeCTI，这是第一个系统地将虚假新闻文章与已知虚假信息活动和威胁行为者联系起来的数据集。FakeCTI包含来自43个不同活动的12
,155篇文章，每篇文章都标注了元数据，指定了相关的活动、威胁行为者和传播媒介。FakeCTI允许研究人员和从业者分析虚假信息趋势，开发自动化检测系统，并大规模评估归因方法，为归因研究提供结构化的基础。

3. 虚假新闻溯源技术实验评估：我们使用 FakeCTI 数据集，评估多种将虚假新闻文章溯源到其原始虚假信息活动的技术。我们的评估范围涵盖

几种方法在假新闻溯源方面取得了高达94%的准确率（使用大型语言模型），突显了不同技术在不同虚假信息内容中的泛化能力，以及它们识别新的和不断演变的假新闻叙事的能力。

本研究展示了基于概念的CTI指标如何帮助改进虚假信息的检测、归因和预防，从而为应对被操纵的叙事和对抗性虚假信息策略提供更有效的方法。我们公开分享我们的成果1，以鼓励对该主题的进一步研究。

本文的剩余部分结构如下。第2节讨论相关工作；第3节介绍基于概念的CTI指标提取方法；第4节介绍FakeCTI数据集；第5节和第6节阐述了关于指标提取和虚假新闻归因的实验分析；第7节总结全文。

2. 背景与相关工作

2.1. 虚假新闻检测

Sharma等人[9]对虚假新闻检测和缓解技术进行了全面分析，将现有方法分为三种主要方法：基于内容的识别、基于反馈的识别和基于干预的解决方案。

基于内容的识别。基于内容的虚假新闻检测技术分析新闻文章的文本和语言特征，以提取虚假新闻和真实新闻之间的区别特征，并识别欺骗模式[10, 11, 12]。这些方法包括基于语言的技术，它试图通过文体标记和事实不一致来识别欺骗行为；以及基于深度学习的解决方案，它旨在提取复杂的文本模式，而无需手动进行特征工程。然而，攻击者可以通过改写或稍微修改内容来规避这种检测。简单的释义或重新格式化标题可以绕过基于内容的分类器，使得此类模型在面对大规模虚假信息宣传活动时无效。

基于反馈的识别。基于反馈的方法利用社交媒体上的用户互动、传播模式和参与度指标来检测虚假新闻。这些策略包括传播模式、时间模式以及用户反应和立场分析，它们假设信息传播的方式可以表明其真实性 [13, 14, 15]。许多现有方法的一个显著局限性在于它们专注于单一社交媒体平台，如Twitter/X或Facebook。因此，当内容审核政策加强时，攻击者可以通过在不同生态系统之间转移叙事，例如从一个平台迁移到另一个平台（如从Twitter/X迁移到Telegram或Reddit），来轻松逃避检测。加强检测需要整合多平台跟踪系统，以关联不同平台上的叙事、域名注册和用户互动。

基于干预的解决方案。基于干预的解决方案代表了防止虚假信息传播的缓解策略。这些方法包括主动的虚假信息干预，例如事实核查机器人，它根据已验证的知识库分析声明以反驳虚假信息；分配给来源的可信度评分；内容审核，包括基于机器学习的技术，通过限制算法放大来减少假新闻的传播；以及用户意识和揭穿策略[16, 17, 18]。然而，事实核查和揭穿方法通常很慢，而内容审核策略必须在准确性和言论自由问题之间取得平衡。

如上所述，现有的大多数检测技术侧重于可识别的人工痕迹，例如可疑的域名注册、自动化社交媒体账户或内容传播异常。虽然这些特征为虚假信息的传播提供了有价值的线索，但它们仍然是被动的指标，对手可以迅速替换或修改。事实上，一旦之前的社交媒体账户或域名被标记，对手可以很容易地生成新的社交媒体账户或注册新的域名。为了有效地阻止虚假信息，网络安全团队必须分析对手使用的TTP（战术、技术和程序），例如叙事放大技术、人工智能生成的内容和跨平台协调策略。

另一个显著的缺点是缺乏归因以及与传统CTI工作流程的集成。虽然像STIX [19, 20]和TAXII [21]这样的框架能够实现网络威胁的结构化CTI共享，但虚假信息分析仍然是分散的。当前的方法，如事实核查数据库和虚假信息辟谣网站，与安全运营中心（SOC）和情报共享平台（例如MISP [22]）隔离运行。检测和归因工作应侧重于痛苦金字塔的最高层级，即重复出现的主题和TTP，因为对手依赖已知的策略，但会改变执行方法。为了加强归因，CTI工作流程必须纳入标准化的框架，例如DISARM，该框架将虚假信息行动者和TTP映射到结构化的情报源中。通过将虚假信息情报与标准化的网络安全方法相结合，组织可以开发多层防御机制，从而实现政府、技术平台和事实核查网络之间的实时情报共享。

2.2. 面向虚假信息的CTI

除了传统的虚假新闻识别和缓解技术之外，DISARM（虚假信息分析与响应措施）框架[23]已被提议作为一种整合面向虚假信息的CTI的标准化方法。DISARM提供了一种结构化的方法来分析和对抗在线虚假信息，通过对威胁行动者、攻击技术和缓解策略进行分类，类似于已建立的CTI框架，如MITRE ATT&CK [24]。该框架旨在通过为虚假信息活动定义一个通用分类法，来增强跨组织、社交媒体平台和网络安全机构的威胁情报的互操作性。DISARM的关键要素包括行动者画像（例如，国家支持的活动、网络犯罪分子、意识形态团体）、策略（例如，叙事放大、深度伪造传播、社会工程）和对策（例如，人工智能驱动的检测、跨平台归因、内容审核）。与通常侧重于单个文章或社交媒体帖子的传统虚假新闻检测不同，DISARM将虚假信息视为一种系统性的网络威胁，需要多层情报共享和自动化威胁搜寻。然而，在框架的运作方面仍然存在挑战，特别是在对抗性行动者的实时归因以及虚假信息CTI与现有网络安全工作流程的对齐方面。

为此，Gonzalez等人[25]提出了DISINFOX，这是一个开源框架，旨在将虚假信息情报整合到现有的CTI工作流程中，利用DISARM来建模虚假信息的TTP，并将其转换为STIX对象，以实现结构化表示和互操作性。DISINFOX促进了虚假信息事件的存储、管理和交换，并提供了与OpenCTI [26]的集成。该框架使用包含118个真实世界虚假信息事件的数据集进行了验证，证明了其在结构化情报共享和分析方面的可行性。然而，诸如手动标注、自动化程度有限以及缺乏标准化评估框架等挑战可能会阻碍其大规模的运行。

尽管DISARM采用了结构化的方法，但由于其关键的局限性，尚未准备好进行实际部署。有限的采用和机构支持阻碍了其在网络安全工作流程中的广泛整合，因为大多数CTI平台尚未配置为处理虚假信息情报。此外，与传统的CTI受益于完善的风险评分模型（例如，漏洞的CVSS [27]）不同，DISARM缺乏标准化的评估框架来评估虚假信息事件的影响和严重程度。确定虚假信息宣传活动的病毒式传播性、影响力和有效性高度依赖于上下文，因此难以明确地分配威胁级别。

我们的解决方案侧重于提取和分析基于结构化概念的CTI，与以虚假信息为导向的痛苦金字塔中的循环主题层对齐，该层是仅次于TTPs的最高抽象层。这反映了主题和叙事在不同活动变体中的持久性，这对于归因和检测至关重要。虽然TTPs仍然具有高度影响力，但它们的标准化仍然有限，正如DISARM在实施过程中面临的挑战所强调的那样。

2.3. 假新闻数据集

随着结构化数据集的可用性显著提高，虚假新闻分析的格局已经发生了重大演变，这些数据集旨在训练用于虚假信息检测的机器学习模型。虽然一些数据集为虚假新闻检测提供了宝贵的见解，但它们在虚假新闻溯源方面的适用性仍然有限，尤其是在涉及虚假信息活动或威胁行为者时。

Fakeddit [28] 是一个大规模的多模态数据集，包含超过 100 万个样本，这些样本收集自 Reddit，这是一个社交媒体平台，假新闻、阴谋论和宣传经常在此传播。它是公开可用的用于假新闻检测的最广泛的数据集之一，提供了文本和视觉特征以及元数据和用户参与数据。与许多提供二元分类（真/假）的数据集不同，Fakeddit 采用更精细的标签系统，允许研究人员将假新闻分为六个不同的类别：真、大部分为真、半真、半假、大部分为假和假。尽管该数据集具有全面性，但它没有明确地将虚假信息与特定的威胁参与者或协同的虚假信息活动联系起来，也没有提供对虚假信息背后意图的深入了解。

IFND [29] 是一个多模态数据集，专注于印度虚假新闻，涵盖了 2013 年至 2021 年的新闻文章。该数据集包含真实和虚假新闻，允许研究人员探索印度背景下虚假信息的特征。IFND 的一个显著特点是使用了潜在狄利克雷分配 (Latent Dirichlet Allocation, LDA) 主题建模，这有助于将新闻文章分类到不同的主题类别中。然而，虽然该数据集能够进行细粒度的分类和基于内容的虚假新闻检测，但它没有提供任何关于威胁行为者或协调影响活动的归属信息。该数据集缺乏可以将虚假新闻文章与虚假信息网络联系起来的元数据。

LIAR数据集[30]是伪新闻检测和事实核查领域中使用最广泛的基准数据集之一。它由12,836条手动标记的简短陈述组成，这些陈述来自普利策奖得主事实核查组织Politifact[31],。与Fakeddit和IFND不同，LIAR专门用于分析政治虚假信息：它包括政治家、政府官员和公众人物的陈述，以及每个真实性标签的详细理由。LIAR中的每个陈述都被分为六个细粒度类别：pants-on-fire（完全错误）、错误、勉强真实、半真半假、大部分真实和真实。虽然LIAR提供了一种分析政治虚假信息的结构化方法，但它没有捕捉到更广泛的虚假信息活动或任何有组织的舆论影响行动。

PushShift Telegram数据集[32]独具特色，因为它专注于通过Telegram传播的虚假信息，Telegram是一个以托管极端主义团体、阴谋论者和虚假信息网络而闻名的消息平台。与以往收集新闻文章和政治声明的数据集不同，PushShift Telegram包含来自27,800
+
个Telegram频道的消息，捕捉了实时讨论、宣传和阴谋驱动的内容。该数据集对于研究协同虚假信息活动尤为重要，因为许多Telegram群组充当极端主义和虚假信息网络的枢纽，为深入了解虚假信息如何在封闭社区内传播提供了宝贵的见解。尽管它包含来自与虚假信息活动相关的频道的数据，但PushShift Telegram并未提供对特定威胁行为者的直接归因。由于缺乏将群组与民族国家行为者、水军工厂或情报行动联系起来的元数据，因此要对虚假信息的起源和意图得出明确的结论仍然具有挑战性。

与 Telegram 版本类似，PushShift Reddit 数据集 [33], 提供了大规模的 Reddit 讨论和帖子集合。该数据集包含来自 Reddit 用户的数百万条评论和帖子。与专注于结构化假新闻分类的 Fakeddit 不同，PushShift Reddit 捕获了未经筛选的实时对话，使其对于研究虚假信息叙事及其演变过程具有重要价值。虽然该数据集包括关于阴谋论、政治宣传和恶作剧的讨论，但它没有明确标记真假新闻。与 PushShift Telegram 类似，该数据集对于研究虚假信息的传播方式很有用，但它没有提供虚假信息活动与特定威胁行为者之间的直接联系。

BuzzFace [34] 是一个综合性的大规模数据集，旨在研究 Facebook 上虚假新闻的传播和用户参与度。它包括 2,282 篇带注释的新闻文章，涵盖主流、左倾和右倾新闻来源，提供了虚假信息的多元化代表。该数据集将新闻分为四个真实性级别：基本属实、基本虚假、真假混合以及没有事实内容。BuzzFace 还包括元数据，例如参与度指标、用户评论和反应。尽管该数据集捕获了互动模式和可能的社交机器人活动，但它缺乏详细的归因元数据，例如关于谁创建或放大了虚假信息的信息。

表1总结了这些现有数据集之间的比较。可以注意到，大多数数据集都缺乏与威胁行为者或协同虚假信息活动的明确联系，因此不适合进行归因。Fakeddit和IFND尽管规模庞大，但侧重于虚假新闻分类，而不是追溯其来源，而LIAR则仅限于经过事实核查的政治声明，无法深入了解有组织的舆论影响行动。BuzzFace集成了Facebook用户互动，提供了有关虚假信息传播的宝贵数据，但缺乏来源跟踪或虚假信息网络链接。其中，PushShift Telegram与威胁行为者的关联性最高，因为它捕获了极端主义团体的宣传叙事和操纵内容，使其成为分析协同虚假信息工作的潜在资源。然而，它仍然需要外部情报来源才能明确地将虚假新闻归因于特定行为者。PushShift Reddit虽然捕获了虚假信息演变的讨论，但没有明确标记或跟踪协同活动，因此其与威胁行为者的关联具有推测性。在虚假新闻归因的可用性方面，只有PushShift Telegram，以及在较小程度上PushShift Reddit，具有中等潜力。相反，Fakeddit、IFND、LIAR和BuzzFace更适合用于虚假新闻检测和分类，而不是识别谁制造或传播虚假信息。虽然这些数据集提供了有关虚假信息如何传播的宝贵见解，但它们缺乏直接归因的关键元数据，例如来源可信度、僵尸网络活动或与已知虚假信息行动的链接。PushShift Telegram仍然是最有希望的，但需要额外的取证分析和情报来源来确认归因。有效的虚假新闻归因需要的不仅仅是分类，它还需要跟踪来源、协同放大和意图的数据集，而这些数据集均未完全解决这些问题。

表1：现有假新闻数据集的比较。

相反，我们提出的数据集，即FakeCTI，通过系统地将虚假新闻文章与其相应的信息战活动和威胁行为者联系起来，从而提供了优于现有虚假新闻数据集的显著优势。虽然先前的数据集主要集中于二元或多类别虚假新闻分类，将文章标记为真、假或误导性，但它们缺乏与传播这些叙事的更广泛的信息战策略的明确联系。FakeCTI提供了结构化的归因元数据，允许研究人员追踪信息战活动的起源和意图。这种联系对于有效的虚假新闻归因至关重要，因为它允许检测新的活动变体，并识别跨多个来源的重复出现的信息战策略。

3. 方法论

我们的工作旨在定义和提取基于概念的网络威胁情报（CTI）指标，以加强对与虚假信息活动相关的假新闻文章的归因和检测。图 2 说明了我们的提议如何融入虚假信息传播的整体环境中。虚假信息活动是由威胁行为者（1）精心策划的，旨在传播虚假或误导性信息，以操纵公众舆论、影响政治进程或诋毁个人或机构。这些行为者包括国家支持的团体、独立的宣传者和恶意组织，他们利用各种数字平台来扩大其叙事。他们制作的假新闻文章构成了这些活动的基础，并且经过精心设计，与合法新闻混合在一起，使得检测和归因变得越来越具有挑战性。这些文章和社交媒体帖子是相同虚假内容的不同变体，它们使用不同的网站域名和社交网络帐户传播，并通过改写内容来制作。

一旦发布，这些假新闻文章就会成为更大规模的虚假信息宣传活动的一部分（2），每个宣传活动都具有独特的主题、叙述和目标。例如，一项宣传活动可能侧重于公共卫生虚假信息，宣传反疫苗内容，而另一项宣传活动则针对政治选举，散布有关选举舞弊的阴谋论。在单个假新闻文章及其各自的宣传活动之间建立明确的关联对于归因至关重要。然而，由于缺乏描述虚假信息背后叙述和意图的结构化、高层次情报指标，这一步骤仍然很困难。

传统的CTI方法依赖于低级别的IoC，例如IP地址、域名和电子邮件地址。虽然这些指标可以帮助追踪技术基础设施，但它们无法捕捉到虚假信息的语义和概念特征。这种差距需要开发更高级别的、内容驱动的CTI指标（3），这些指标可以根据虚假新闻文章的关键声明、实体和关系来描述它们，而不是基于短暂的技术人工制品。为了应对这一挑战，我们引入了一种新的基于概念的CTI指标格式，该格式来源于虚假新闻文章的文本内容。与传统的IoC不同，这些指标在不同的活动和传播渠道中保持持久性，使其在长期跟踪和分析方面更有效。

一旦定义了新的CTI指标，下一步就是从新遇到的假新闻文章中自动提取它们（4）。这些结构化的情报指标可以帮助分类、归因和跟踪虚假信息活动。

提取的CTI指标有多种用途（5），主要体现在以下几个方面：

检测：基于概念的CTI指标能够识别与已知虚假信息叙事具有相似之处的新型假新闻文章。这使得在误导性信息广泛传播之前进行早期干预成为可能。
归因：通过将提取的指标与特定的虚假信息活动联系起来，我们可以追踪哪些行为者负责传播特定类型的虚假信息，从而提高态势感知能力。

图2：方案概述。

预防：识别虚假信息的重复模式有助于设计对策，以减轻未来活动的影响，例如改进事实核查机制和加强自动化内容审核。

3.1. 基于概念的针对虚假新闻的CTI

我们提出了一种新颖的方法来构建CTI指标，专门用于假新闻溯源。我们专注于通过分析假新闻文章中嵌入的核心主张、叙述和参考文献来提取有意义的、基于内容的指标。即使表面细节发生变化，这些指标仍然保持稳定，使其对于长期溯源更为有效。这些指标应满足以下属性：

非易失性：CTI 指标应反映虚假信息宣传活动的内容，而不依赖于容易更改的技术伪像（域名、社交媒体帐户），并且能够抵御同一宣传活动的变体。

可解释性：CTI必须易于人类和自动化系统理解，从而促进快速分析和响应。

适用于支持虚假新闻检测：CTI应能有效指导检测虚假新闻的其他变体，从而能够基于已识别的模式来识别虚假信息宣传活动。

轻量级：CTI 的共享应该快速，易于存储和处理，以确保在利益相关者之间有效传播，并最大限度地减少资源需求，从而能够很好地扩展以分析大量数据。

因此，我们设计的指标考虑了虚假新闻文章的潜在声明、叙述和参考文献，而不依赖于标准的低层次信息。传统的CTI指标，如域名、IP地址或社交媒体账户句柄，很容易被威胁行为者更改，从而限制了它们在跟踪虚假信息宣传活动中的长期效用。

由于虚假新闻文章包含明确的主张、隐含的叙述以及对关键实体的引用，为了方便将其用于归因任务，我们提取以下信息：

实体：文章中提到的关键参与者、组织、事件或概念。

关系：这些实体之间的语义连接。这些关系为提取的实体提供上下文含义。

对象：与实体和关系相关的目标或结果。

图 3：从一篇假新闻文章中提取的图例。

然后，这些信息被归纳为<主语，关系，宾语>三元组。在下文中，我们也将这些三元组称为元组。例如，句子“X国资助Y组织传播虚假信息”被转换为三元组<X国，资助，Y组织>。通过捕捉这些核心要素，我们在保留其关键含义的同时，降低了文本的复杂性。此过程的主要目的是：i) 将虚假新闻中无组织、基于叙述的内容结构化为一致的格式；ii) 通过关注实体和关系，忽略措辞或表达方式上的表面差异，从而实现跨文章的内容比较；iii) 识别虚假信息宣传活动内部和跨活动中反复出现的故事、主题和策略。

使用此类三元组为归因任务提供了几个优势。一个关键优势是它们的非易失性。与威胁行为者可以轻易更改的传统入侵指标（IoC）不同，三元组侧重于虚假信息宣传活动的潜在内容和意图。即使表面细节发生变化，叙述或实体之间的关系通常也保持一致。例如，即使某个宣传活动可能从一个网站迁移到另一个网站，但诸如<组织X，传播，反疫苗宣传>这样的三元组所捕获的核心叙述很可能会持续存在。

另一个显著的优势是高可解释性。三元组提供了信息的结构化表示，这种表示对于人类分析师和自动化系统来说都易于理解。诸如<组织X，与...合作，国家Y>这样的三元组直接传达了信息的本质，从而有助于更快速的决策和更有效的响应计划。

此外，三元组能够通过映射到关系图来识别关系，其中节点代表实体，边定义关系。这种图可以通过突出实体之间反复出现的连接来进行高级分析，例如特定行动者重复传播类似叙述。它们还可以揭示相关活动或叙述的集群，从而深入了解不同虚假信息来源之间潜在的协调。

图3展示了一个从虚假新闻文章中提取的图的例子。具体来说，这个例子指的是一篇讨论英国著名癌症科学家、欧洲癌症干细胞研究所主任艾伦·克拉克教授[35],神秘死亡的文章。这一发现是由他的妻子凯瑟琳和邻居们做出的，他们在克拉克遛完家里的狗后没有回来，便去找他。验尸官大卫·鲍文排除了第三方介入的可能性，并不确定克拉克的死是否为自杀。相反，鲍文推测这可能是一次寻求性满足的尝试，结果却导致了意外事故。该叙述与威胁行为者伊丽莎白·艾琳发起的一场虚假信息宣传活动有关，旨在通过虚假地将医疗专业人员的死亡与他们对癌症发现的研究联系起来，从而加剧对医疗界的不信任。这篇文章还通过提及30多名著名医生的“神秘死亡”，暗示了更广泛的阴谋论基调，这与一个名为“医生在癌症发现后被发现死亡”的已知虚假信息宣传活动相一致。它以推测性和耸人听闻的细节来构建这一情况，例如指出克拉克的穿着，并暗示验尸官公开披露有关死亡的私密信息背后存在不可告人的动机。该图可视化了文章中呈现的关系和事实，连接了关键的主题、行为和对象，例如克拉克的服装、验尸官的判决以及证人的陈述。

为了从给定的虚假新闻文章中自动提取元组，我们利用大型语言模型（LLM）。LLM代表了从文本中进行最先进的关系提取的最新进展[36, 37, 38]，使其成为从非结构化来源（如虚假新闻文章）中提取结构化信息的最佳选择。基于LLM的元组提取的有效性很大程度上取决于提示的结构和内容。在我们的方法中，我们仔细设计提示，以提供清晰和结构化的指令，遵循最佳实践，以确保高质量的元组提取。根据提示工程的最佳实践[39, 40]，该提示包括角色描述以及明确的任务描述，引导模型专注于提取<主语，关系，宾语>三元组，同时避免无关的细节。此外，我们定义了逐步提取的标准，以提高一致性并减少元组形成过程中的歧义。为了提高可解释性，我们在提示中包含一个示例，演示了预期的输入-输出结构。最后，我们附加一个终止关键字（END LIST），以确保模型正确地分隔其输出，防止不必要的幻觉或无关文本的生成。这种结构化的提示方法被设计为与模型无关，这意味着它可以应用于任何能够进行关系提取的LLM。通过遵循清晰的角色定义、明确的任务描述、结构化的逐步标准和终止关键字，该提示确保了不同模型之间的一致性和准确性。无论与开源模型还是微调模型一起使用，这种方法都保持了适应性，使其能够灵活地从非结构化文本源中提取结构化信息[41, 42]。

角色：您是一位自然语言处理专家，专门从事分析文本数据和提取结构化信息。您的任务是从输入文本中识别主语-关系-宾语关系，这些关系代表实体之间的关键动作和关系。这些三元组将用于虚假新闻文章的结构化表示。

语境：主语-关系-宾语关系捕捉了句子中描述的动作和关系的基本结构。在这些关系中，主语代表执行动作的实体，动词描述动作或关系，宾语代表受该动作影响的实体。识别这些关系有助于将非结构化文本数据组织成结构化格式，从而更容易进行分析和解释。

示例：

原文：“John gave a book to Mary。”

元组：John - gave - a book to Mary

说明：阅读以下文本，并识别所有主语-谓语-宾语形式的元组。这些元组应反映文本中提到的实体之间的主要动作和关系。请按照以下步骤操作：

3.3. 虚假新闻归因

该方法的最后阶段使用基于概念的CTI指标，将新检测到的假新闻文章归因于先前识别的活动。因此，我们的方法将一篇文章映射到一个已知的虚假信息活动以及其背后的威胁行为者。主要目标是确定一篇假新闻是否属于现有活动，并且可以链接到特定的威胁行为者。为此，我们考虑以下技术。

最终，文章会被分配给得票数最高的活动：

其中
C∗
代表与该文章相关的最可能的信息战。

其中 1(·) 是示性函数：

最终，文章会被分配给得票数最高的活动：

其中C∗代表与该文章相关的最可能的信息战。

大型语言模型：此方法采用基于大型语言模型的机器学习方法，这些模型经过微调，可以识别特定活动的语言模式以及实体之间的关系。这些模型按虚假信息活动和威胁行为者对假新闻文章进行分类。具体来说，我们利用DistilBERT，它是BERT的一个更轻、更快的变体，旨在保留其大部分功能，同时通过知识蒸馏来减少计算开销[45]。DistilBERT保留了BERT的核心Transformer架构，依靠自注意力机制和前馈层来处理和理解文本。它遵循标准的仅编码器Transformer结构，其中输入文本被标记化并转换为向量表示，然后通过多个Transformer层。

自注意力机制[46],是Transformer的关键组成部分，用于计算序列中单词之间的上下文关系。给定一个分词后的输入句子
{w1, w2, . . . , wn}
，每个单词都被转换成一个高维嵌入向量。然后，Transformer应用多头自注意力来计算上下文表示。自注意力机制计算输入序列中所有单词的加权和，以确定每个单词应该关注其他单词的程度。这是通过使用三个矩阵实现的：查询（Q）、键（K）和值（V）。