当前位置: 首页 > ops >正文

PEFT 模型解析(59)

PEFT 模型
若你使用 SFTTrainer 类进行训练(第 5 课将详细介绍),仅配置信息可能就足够了 —— 该类会在底层自动完成适配器(adapters)与基础模型的关联工作。
不过目前,我们选择手动完成这一操作,以便更深入理解模型是如何被实际修改的。这个过程非常简单:我们只需调用get_peft_model()函数,并传入以下参数即可:
基础(已预处理好的)模型
LoRA 配置(LoRA 全称为 Low-Rank Adaptation,即低秩适应,是一种常用的 PEFT 技术)
(可选参数)为适配器指定的名称(后续你可能需要在不同适配器之间切换,因此给它们起合适的名称是个不错的做法)

config = LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05
http://www.xdnf.cn/news/18785.html

相关文章:

  • 《数据之心》——鱼小妖的觉醒
  • ctfshow_萌新web16-web20-----文件包含日志注入
  • 《信息检索与论文写作》实验报告二 引文索引数据库检索
  • 我们来学mysql -- safe启动
  • 解析xml文件并录入数据库
  • 类似ant design和element ui的八大Vue的UI框架详解优雅草卓伊凡
  • Vue中的scoped属性
  • 推荐系统王树森(三)粗排精排
  • 【NER学习笔记】:基于AdaSeq的NER模型训练笔记
  • Linux下TCPT通信
  • 8.26 支持向量机
  • 什么样的 IP 能穿越周期,持续被用户买单?​
  • 基于大模型的智能占卜系统实战-Qwen-VL、RAG、FastAPI
  • “喵汪联盟”宠物领养系统的设计与实现(代码+数据库+LW)
  • Python编程快速上手—让繁琐工作自动化
  • OpenCV打开视频函数VideoCapture使用详解
  • 数据与端点安全 (Protect data and apps)
  • 【学习笔记】系统时间跳变会影响time接口解决措施
  • Matlab使用——开发上位机APP,通过串口显示来自单片机的电压电流曲线,实现光伏I-V特性监测的设计
  • es-toolkit 是一个现代的 JavaScript 实用库
  • UE4生成Target文件
  • 【RAGFlow代码详解-11】知识库管理
  • 无人机倾斜摄影农田航线规划
  • ProfiNet 转 Ethernet/IP基于西门子 S7 - 1500 与罗克韦尔 PLC 的汽车零部件加工线协同案例
  • 【QT学习之路】-Qt入门
  • 解决Windows更新后WPF程序报TypeLoadException异常的问题
  • Node.js(3)—— fs模块
  • 3D游戏角色建模资源搜索指南(资料来源于网络)
  • 恒坤新材科创板IPO上市关注,致力推动集成电路材料国产化
  • 领克08 EM-P新款官图发布,外观微调并增激光雷达