当前位置: 首页 > web >正文

AI Agent开发第73课-预训练qwen3-如何加入自己的语料

开篇

前面一篇《教授训练本地带思维链模式的模型》我们从头到底讲述了利用llama-factory以SFT的方式微调一个模型,让模型在回答“你是谁”时,可以回答我们指定的内容,并在最后我们把训练好的模型“烧成”可以运行在ollama里的模型的全部过程。

有了前一篇的知识,今天我们来讲,如何把本企业的内部知识库如:员工手册、退货流程或者一些达半年都不太变动的“固定”知识“烧”进Qwen3里。如之前篇章里说到过的:经常变动的、实时变动的我们要用RAG,而需要写入“DNA”的我们需要训练。因此今天讲的训练和上次的SFT微调还不一样,今天讲授的是没有一问、一答这种格式的而转变成一大段一大段的真正的行业知识把它烧进一个LLM,其实相当于制作一个“行业LLM”,在此我们依旧使用的是Qwen3:0.6b。

什么是预训练什么是指令式微调

预训练和指令微调是大语言模型训练的两个关键阶段,它们在目标、数据形式和应用场景上有

http://www.xdnf.cn/news/8268.html

相关文章:

  • 电子电路:CMOS反相器的工作原理
  • grafana dashboard 单位 IEC SI a i
  • LeetCode 52. N 皇后 II java题解
  • DeepSeek 赋能数字艺术:从灵感到成品的智能跃迁
  • Linux系统:基础命令之 ls~pwd~cd
  • # JavaSE核心知识点02面向对象编程
  • 【Bluedroid】蓝牙 HID HOST连接全流程源码解析
  • 基于“理采存管用”的数据中台建设方案
  • 高等数学-三角函数
  • PyTorch模型生命周期管理全流程指南:从训练到生产部署
  • SpringBoot的前世今生
  • python 中 SchedulerManager 使用踩坑
  • Spring AI之Advisors (增强器)
  • 中证500股指期货的名词解释
  • Ubuntu-多显示器黑屏问题及nvidia显卡驱动安装
  • 华为模拟器练习简单的拓扑图(五台交换机和pc,4台路由器)
  • MongoDB数据库在现代应用中的高效实践与优化策略
  • 47页 @《人工智能生命体 新启点》中國龍 原创连载
  • Linux下的Socket编程
  • 多端协同开发能力大比拼: AI 编程工具技术架构对比
  • 华为2025年校招笔试真题手撕教程(一)
  • vue3项目动态路由的相关配置踩坑记录
  • LeetCode Hot100 (双指针)
  • 什么是出入库管理系统?2025年五大出入库管理软件推荐
  • 部署TOMEXAM
  • (tarjan 缩点)洛谷 P3119 USACO15JAN Grass Cownoisseur G 题解
  • 文章被检测出是AI写的怎么办?
  • 手写Tomcat(二)—Tomcat简化模型架构
  • 2023河南CCPC省赛vp部分补题
  • 电子墨水电子阅读器行业2025数据分析报告