LoraConfig target modules加入embed_tokens(64)
LoraConfig target modules加入embed_tokens
- 更好且成本更低的方法
-
- 嵌入层（embedding layer）的 lora_embedding_A 和 lora_embedding_B
- 头部（head）是否需加入目标模块列表
- 用户警告
- 解除权重绑定
- 解绑以后是随机权重，怎么办
更好且成本更低的方法
“有没有一种更好且成本更低的方法呢？”
当然有！谁说我们不能给嵌入层（embedding layers）附加适配器（adapters）呢？不如换种方式 —— 把它加入到目标模块（target modules）列表中吧：
config = LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05,
bias="none",