AI大模型：（二）2.3 预训练自己的模型

目录

1.预训练原理

2.预训练范式

        1.未标注数据

        2.标注数据 

        3.有正确答案、也有错误答案

3.手撕transform模型

3.1.transform模型代码

3.2.训练数据集

3.3.预训练

3.4.推理

4.如何选择模型