【NLP 69、KG - BERT】
人们总是在无能为力的时候喜欢说顺其自然
—— 25.4.21
一、KG-BERT：基于BERT的知识图谱补全模型
1.模型结构与设计
Ⅰ、核心思想：
将知识图谱中的三元组（头实体-关系-尾实体）转化为文本序列，利用BERT的上下文理解能力进行知识图谱补全任务（如三元组分类、链接预测）。
Ⅱ、输入设计：
① 三元组序列化：
将实体和关系的名称或描述文本拼接成序列，格式为 [CLS] 头实体描述 [SEP] 关系描述 [SEP] 尾实体描述 [SEP]。
② 实体表示灵活性：
头尾实体可以是实体名本身或详细的文本描述（例如，“Steve Jobs”或“Apple Inc. is a technology company”）。
Ⅲ、任务模块：
① 三元组分类：
通过BERT的[CLS]标记输出进行二分类（判断三元组是否成立），使用交叉熵损失。
② 关系预测：
将任务调整为多分类问题，预测两个实体之间的关系。
③ 链接预测：
预测缺失的实体或关系，支持知识图谱的自动补全。
2.计算方式与训练策略
Ⅰ、数据构造：
① 正样本：
来自知识图谱的原始三元组。
② 负样本：
随机替换正样本中的头/尾实体或关系生成负例。
Ⅱ、损失函数：
① 三元组分类：
二元交叉熵损失。
② 关系预测：
多类交叉熵损失。
Ⅲ、预训练与微调：
基于预训练的BERT模型进行微调，无需从头训练，适配知识图谱任务。
3.应用场景
Ⅰ、智能问答：
补全知识图谱中的缺失关系，提升答案准确性。
Ⅱ、推荐系统：
利用实体关系增强个性化推荐。
Ⅲ、语义搜索：
通过知识图谱补全优化搜索结果的语义相关性。
4.关键技术优势
Ⅰ、上下文融合：
通过BERT的双向注意力机制捕捉实体和关系的深层语义关联。
Ⅱ、灵活性：
支持多种知识图谱任务（分类、预测、补全）。
Ⅲ、高效性：
利用预训练BERT减少训练时间，适合大规模知识图谱处理。
二、模型对比与总结
| 维度 | KG-BERT | R-BERT |
|---|---|---|
| 核心任务 | 知识图谱补全（三元组分类、链接预测） | 关系抽取（实体间语义关系分类） |
| 输入设计 | 三元组序列化，融合实体描述文本 | 显式标记实体位置，提取实体向量 |
| 关键技术 | BERT+知识图谱融合、负样本生成 | 实体标记符、多特征融合 |
| 应用领域 | 问答系统、推荐系统、语义搜索 | 社交网络分析、医学文本挖掘、事件抽取 |
| 性能指标 | 在WN11、FB15K等数据集达到SOTA | SemEval-2010 Task 8的F1值89.25% |
三、代码示例
import torch
from transformers import BertTokenizer, BertForSequenceClassificationdef predict_relation(text, head_entity, tail_entity, model, tokenizer):try:# 构建输入文本input_text = f"头实体: {head_entity} 尾实体: {tail_entity} 文本: {text}"# 分词inputs = tokenizer(input_text, return_tensors='pt')# 检查是否有可用的GPUdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")model.to(device)inputs = {k: v.to(device) for k, v in inputs.items()}# 前向传播with torch.no_grad():outputs = model(**inputs)# 获取预测结果logits = outputs.logitspredicted_class_id = torch.argmax(logits, dim=-1).item()return predicted_class_idexcept Exception as e:print(f"预测过程中出现错误: {e}")return None# 加载预训练的BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3) # 假设有3种关系类型# 示例输入
text = "苹果公司是一家科技公司，史蒂夫·乔布斯是其创始人。"
head_entity = "苹果公司"
tail_entity = "史蒂夫·乔布斯"# 进行预测
predicted_class_id = predict_relation(text, head_entity, tail_entity, model, tokenizer)
if predicted_class_id is not None:print(f"预测的关系类别: {predicted_class_id}")