【深度学习新浪潮】什么是持续预训练？

一、持续预训练的定义与核心价值

持续预训练是在通用预训练模型（如BERT、GPT）的基础上，使用领域专属无标注语料（如医学文献、法律条文）延续预训练目标（如掩码语言建模），以增强模型领域知识储备的过程。其本质是通过“针对性加餐”让模型在保留通用能力的同时，理解领域术语、语法和逻辑关系，为后续微调奠定基础。

核心优势：

• 领域专业性：通过领域语料补充，模型可精准捕捉专业场景的语言规律（如医学中的“病灶”“半衰期”）。
• 任务泛化性：相比直接微调，持续预训练能提升模型在同类领域任务中的适应性，减少对标注数据的依赖。
• 效率优化：基于已有模型参数继续训练，相比从头训练节省大量计算资源。

二、经典案例与应用场景

以下通过三个领域案例展示持续预训练的实际价值：