了解迁移学习吗？大模型中是怎么运用迁移学习的？
1、迁移学习
迁移学习（Transfer Learning）是指将⼀个领域（源领域）中学到的知识迁移到另⼀个领
域（⽬标领域）中应⽤的技术。通过这种⽅式，模型在⽬标任务中可以利⽤先前训练的模型参数，
从⽽减少对⼤规模数据的需求和训练时间。
2. 迁移学习在大模型中的应用:
预训练和微调 : 在⼤模型（例如 GPT、BERT）中，迁移学习的核⼼思想体现在预训练-微调（Pre-training & Fine-tuning）的范式中。⾸先在⼤规模的通⽤数据（如互联⽹⽂本）上进⾏预训练，获得 能够理解⼴泛语义的通⽤模型；接着，在⽬标任务的⼩规模数据集上进⾏微调，使模型能够适应特定 任务。
预训练是⼀种从头开始训练模型的⽅式：所有的模型权重都被随机初始化，然后在没有任何先验知识的情况下开始训练，这个过程不仅需要海量的训练数据，⽽且时间和经济成本都⾮常⾼。因此，部分情况下，我们都不会从头训练模型，⽽是将别⼈预训练好的模型权重通过迁移学习应⽤到⾃⼰的模型中，即使⽤⾃⼰的任务语料对模型进⾏“⼆次训练”，通过微调参数使模型适⽤于新任务。