使用pyTorch 自然语言处理（NLP）知识库创建
使用 PyTorch 进行自然语言处理（NLP）时，通常会结合其生态系统中的工具库（如
torchtext、transformers）和自定义模型。以下是创建一个简单 NLP
项目的步骤和示例代码，涵盖数据预处理、模型构建和训练流程。
1. 安装依赖
确保已安装以下库：
pip install torch torchtext spacy
python -m spacy download en_core_web_sm # 英文分词模型
2. 数据预处理
使用 torchtext 加载和预处理文本数据。以文本分类为例（如 IMDB 数据集）：
代码示例：加载和预处理数据
import torch
from torchtext.datasets import IMDB
from torchtext.data.utils import get_tokenizer
from torchtext.vocab import build_vocab_from_iterator# 定义分词器
tokenizer = get_tokenizer("spacy", language="en_core_web_sm")# 加载数据集
train_iter, test_iter = IMDB(split=("train", "test"))# 构建词表
def yield_tokens(data_iter):for _, text in data_iter:yield tokenizer(text)vocab = build_vocab_from_iterator(yield_tokens(train_iter), specials=["<unk>", "<pad>"])
vocab.set_default_index(vocab["<unk>"])# 文本转换为张量
text_pipeline = lambda x: vocab(tokenizer(x))
label_pipeline = lambda x: int(x) - 1 # 标签从0开始# 批处理函数
def collate_batch(batch):text_list, label_list = [], []for label, text in batch:text_list.append(torch.tensor(text_pipeline(text), dtype=torch.int64))label_list.append(label_pipeline(label))return torch.nn.utils.rnn.pad_sequence(text_list, padding_value=1.0), torch.tensor(label_list)
3. 定义模型
构建一个简单的 LSTM 文本分类模型：
代码示例：模型定义
import torch.nn as nnclass TextClassifier(nn.Module):def __init__(self, vocab_size, embed_dim, hidden_dim, num_class):super().__init__()self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=1)self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True)self.fc = nn.Linear(hidden_dim, num_class)def forward(self, text):embedded = self.embedding(text)output, (hidden, _) = self.lstm(embedded)return self.fc(hidden.squeeze(0))
4. 训练流程
代码示例：训练和评估
from torch.utils.data import DataLoader# 超参数
BATCH_SIZE = 64
EMBED_DIM = 128
HIDDEN_DIM = 256
NUM_CLASS = 2
EPOCHS = 5# 数据加载器
train_loader = DataLoader(list(train_iter), batch_size=BATCH_SIZE, collate_fn=collate_batch)
test_loader = DataLoader(list(test_iter), batch_size=BATCH_SIZE, collate_fn=collate_batch)# 初始化模型、损失函数、优化器
model = TextClassifier(len(vocab), EMBED_DIM, HIDDEN_DIM, NUM_CLASS)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)# 训练循环
for epoch in range(EPOCHS):model.train()for texts, labels in train_loader:optimizer.zero_grad()outputs = model(texts)loss = criterion(outputs, labels)loss.backward()optimizer.step()# 评估model.eval()total, correct = 0, 0with torch.no_grad():for texts, labels in test_loader:outputs = model(texts)_, predicted = torch.max(outputs, 1)total += labels.size(0)correct += (predicted == labels).sum().item()print(f"Epoch {epoch+1}, Accuracy: {correct / total:.4f}")
5. 高级技巧
使用预训练模型（如 BERT）
结合 Hugging Face transformers 库：
pip install transformers
代码示例：BERT 文本分类
from transformers import BertTokenizer, BertModel# 加载预训练模型和分词器
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
bert_model = BertModel.from_pretrained("bert-base-uncased")class BertClassifier(nn.Module):def __init__(self, num_class):super().__init__()self.bert = bert_modelself.classifier = nn.Linear(768, num_class)def forward(self, input_ids, attention_mask):outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)pooled_output = outputs.pooler_outputreturn self.classifier(pooled_output)
6. 关键知识点
数据预处理：分词、构建词表、填充/截断序列。
模型架构：Embedding 层、RNN/LSTM/Transformer、全连接层。
训练优化：学习率调整、梯度裁剪、早停法。
工具库：torchtext 用于数据处理，transformers 用于预训练模型。