prepare_model_for_kbit_training()函数解析(56)
接下来,让我们使用一个新的辅助函数parms_of_dtype()
来获取所有参数类型为特定类型的层的名称。经过预处理的模型中,哪些参数是32位浮点数(FP32)参数呢?
def parms_of_dtype(model, dtype=torch.float32):
parms = [name for name, param in model.named_parameters
接下来,让我们使用一个新的辅助函数parms_of_dtype()
来获取所有参数类型为特定类型的层的名称。经过预处理的模型中,哪些参数是32位浮点数(FP32)参数呢?
def parms_of_dtype(model, dtype=torch.float32):
parms = [name for name, param in model.named_parameters