LoRA至今历程回顾（74）

使用模型已有的模板

如果某个模型是使用特定模板训练或微调的，那么若你想在该模型上进行推理，就必须使用完全相同的模板。

若你正在进行微调，在绝对必要的情况下，或许可以使用不同的模板，但通常而言，继续使用模型已熟悉的模板会是更优选择。无需重复造轮子。

LoRA至今历程

在上一课中，我们为已完成量化的模型添加了低秩适配器（Low-rank adapters）。通常情况下，模型会以 FP16（16 位浮点数）精度加载非量化层，但为便于后续训练，最好将层归一化（layer norms）等层转换为 FP32（32 位浮点数）精度（此操作由prepare_model_for_kbit_training()函数完成）。

适配器本身的秩（rank）配置为 8 到 32 之间的不同数值，且 alpha 值（缩放系数）设定为秩的两倍。

在最终的 PEFT 模型中，默认仅适配器可参与训练；除非在配置中通过modules_to_save参数指定其他可训练模块。

PEFT 模型

以下是我们的 PEFT 模型：

 # From Session 2
2 supported = torch