当前位置：首页 > news >正文

【NLP基础知识系列课程-Tokenizer的前世今生第五课】从静态到可学：Tokenizer 的自适应演化之路

news 2025/5/29 9:14:53

引子：Tokenizer 不再只是“切词器”

在 NLP 或多模态任务中，我们一直使用固定的分词器（如 BPE、WordPiece）在训练前将文本分为 token。但这是一种静态方式，与模型参数解耦，与任务目标无关。

在可微训练、跨模态建模和任务定制兴起的今天，越来越多模型试图摆脱这种静态输入依赖。

于是，“可学习 Tokenizer”（Learnable or Trainable Tokenizer）登场了，它们与模型结构深度耦合，拥有以下特点：

token 切分方式可被优化
粒度与结构可调
与模型 loss 联动更新

本篇我们将深入解析这类 tokenizer 的理论背景、典型设计、实现流程、关键机制与实验评估方式。

一、可学习 Tokenizer 的核心目标

输入 token 的切分方式如果是固定的，就会带来：

Token 冗余或不足（如字符级太长、词级太稀）
任务无关性（生成任务 vs 分类任务切分应不同）
多模态失配（图像 token 与语言 token 粒度不一致）

因此，可学习 tokenizer 希望满足：

$\min_{\theta_T} \mathbb{E}_{x \sim D} \left[ \mathcal{L}(f(T(x;\theta_T));\theta_M) \right]$

其中：

$T(x;\theta_T)$ ：可学习的 tokenizer，对输入 $x$ 切分
$f(\cdot;\theta_M)$ ：后续模型
$\mathcal{L}$ ：任务 loss（分类、生成等）

目标是让 tokenizer 参数 $\theta_T$ 直接优化任务性能，而非单独预设。

二、方法一：Token Learner（Google, 2021）

场景：图像 Patch Token 太多，如何选最关键的？

Token Learner 是一个可插拔的模块，它接收图像 patch embedding，并输出 $N$ 个压缩后的 token，供后续 transformer 使用。

架构：

输入：ViT 输出的 patch embedding $\in \mathbb{R}^{P \times d}$
使用 1D-CNN + Attention 模块生成选择 mask：
$\mathrm{Softmax}(g(X)) \in \mathbb{R}^{P \times N}$
输出 token：
$T_i = \sum_{j=1}^{P} W_{j,i} X_j \quad \text{for } i = 1...N$

输出的 $\in \mathbb{R}^{N \times d}$ 是新的 token 表示。

优点：

可以压缩长序列
可以实现局部关键区域感知

缺点：

结构不稳定，依赖注意力调节
无 token identity（无词表）

代表应用：

EfficientViT、Pix2SeqV2、PaLI

三、方法二：MxDNA（EM-style token learning）

场景：DNA 序列中，不同位置的“motif”不固定，能否自动切分？

MxDNA（ACL 2022）采用 EM 方法动态学习最优 token 划分，结合 attention mask 提高功能片段表达。

核心思路：

初始化：随机 token 划分（可重叠）
E步（估计）：用当前划分训练模型，统计每个 token 的对任务 loss 的影响
M步（优化）：更新 token 划分，使得高信息 token 保留，低信息 token 合并或丢弃

信息评分：基于 Shannon Entropy 或 Conditional Mutual Information：

$\mathrm{IG}(t) = H(Y) - H(Y|t)$

注意力指导：将高评分 token 在 Attention 中给予更大权重。

优点：

保留信息丰富区域
自适应切分，适合 motif 多样性

缺点：

训练复杂（EM 迭代 + re-tokenization）
收敛依赖初始化

代表任务： 基因调控因子预测、序列分类

四、方法三：Vokenization（ACL 2020）

场景：文本 token 的含义如果可以与图像对齐，能否让文本也“视觉化”？

Vokenization 是一个跨模态的 token alignment 方法，为每个文本 token 匹配一个“视觉 embedding”，形成“视觉 token”或“voken”。

实现流程：

文本 token 用 WordPiece 切分
构建 $f_{text}(t_i)$ 表示每个词的 embedding
对应图像句对中，从图像库中搜索与 $t_i$ 相似的视觉 patch embedding $f_{vision}(v_j)$
用对比损失学习匹配

Loss：

$\mathcal{L} = - \sum_i \log \frac{\exp(f_t(t_i)^T f_v(v_i))}{\sum_j \exp(f_t(t_i)^T f_v(v_j))}$

输出 voken 被送入下游文本模型，可视为“视觉增强语言建模”。

五、方法四：Token Routing & PerceiverIO（DeepMind）

Perceiver 系列模型使用 latent vector 池代替传统 token 序列，并用 cross-attention 做 token routing。

核心机制：

输入 token $x_1, x_2, ..., x_n$
构造 latent 查询向量 $q_1, ..., q_k$
每个 latent vector 从输入 token 中选择相关 token 汇总：

$\text{Latent}_i = \sum_j \alpha_{ij} x_j, \quad \alpha_{ij} = \mathrm{softmax}(q_i^T x_j)$

即：输入 token 不再决定模型结构，latent query 决定“看哪些 token”。

应用扩展： Flamingo 在 vision-language task 中使用 gated routing，对不同模态 token 分配不同查询门控。

六、评估方法与挑战

可学习 Tokenizer 在实验中应考虑以下维度：

维度	说明	衡量指标
表达能力	token 是否能有效表达语义结构	任务准确率/生成质量
压缩能力	是否减少冗余 token	token 数减少率 / latency
对齐性	多模态 token 是否能语义对齐	cross-modal attention score
可解释性	是否能显式看到 token 学到什么	Token mask ablation / GradCAM