大模型开发学习笔记
文章目录
- 大模型基础
- 大模型的使用
- 大模型训练的阶段
- 大模型的特点及分类
- 大模型的工作流程
- 分词化(tokenization)与词表映射
- 大模型的应用
- 进阶
- agent的组成和概念
- planning规划
- 子任务分解
- ReAct框架
- memory记忆
- Tools工具\工具集的使用
- langchain
- 认知框架
- ReAct框架
- plan-and-Execute计划与执行
- self-ask(自问自答)
- thinking and self-refection思考并自我反思
- ReAct框架实例
- 通过llamindex实现ReAct RAG Agent
大模型基础
foundational Models，基础模型或称基座模型，即大模型
大模型的使用
prompt engineering（提示词工程）
大模型训练的阶段
- 预训练
- SFT（监督微调）
- RLHF(基于人类反馈的强化学习)
大模型的特点及分类
-
适应性灵活性强
-
广泛数据集的预训练
-
计算资源需求大
-
参数规模大
-
大语言模型
-
多模态模型(计算机视觉\语音)
大模型的工作流程
分词化(tokenization)与词表映射
- 词粒度,适用英文
- 字符粒度,中文分词
- 子词粒度,将单词分解为更小的单位
- 每一个token通过预先设置好的词表,映射为一个tokenid,这是token的身份证
大模型的应用
理解人类或自己本身,就能很好的学会大模型应用及开发
进阶
agent的组成和概念
memory + tools + Planning + Action <-----agent
agent的决策流程
planning规划
子任务分解
思维链(chain of thoughs,CoT)
思维树(Tree of thoughs,ToT),使用深度优先或广度优先搜索
ReAct框架
搜索高端手机,最好用的手机
组合推理和行动.首先通过推理确定搜索"苹果手机",并从外部环境中观察结果.随着推理的深入,识别出需要搜索…几轮交互后,得出标准答案
memory记忆
智能体中的记忆机制
- 形成记忆,大模型训练参数得到的记忆
- 短期记忆,当前任务的暂存记忆
- 长期记忆,长期保留的信息,通常用向量数据库来存储和检索
Tools工具\工具集的使用
使用工具突破大模型本身的限制
langchain
agent只是实现智能体的框架,真正的大脑还是LLM
认知框架
ReAct框架
plan-and-Execute计划与执行
self-ask(自问自答)
thinking and self-refection思考并自我反思
ReAct框架实例
我的理解是langchain已经在这些认知框架中把提示词封装好了,不用我们去手写了