从0开始学习大模型--Day01--大模型是什么
初识大模型
在平时遇到问题时，我们总是习惯性地去运用各种搜索引擎如百度、知乎、CSDN等平台去搜索答案，但由于搜索到的内容质量参差不齐，检索到的内容只是单纯地根据关键字给出内容，往往看了几个网页都找不到答案；而如果我们将问题输入大模型，因其拥有非常庞大且高质量的知识储备，比我们直接用搜索引擎找答案方便很多，同时还能识别你所输入问题的细节，比如“不想用某种方法”这类文本的语句，输入大模型后所找到的答案会避开所说的方法。
大模型的演变
人工智能按照技术实现可以分为多个子领域：
人工智能
人工智能是一个广泛涉及计算机科学、数据分析、统计学、机器工程、语言学、神经科学、哲学和心理学等多个领域，说白了就是可以把我们所学习的各种领域的知识在应用时量化，并更好地结合去给出答案。
机器学习
机器学习可分为监督学习（指导分类）、无监督学习（主动聚类）和强化学习（试错），前面两者区别在于是否用带有标签的数据进行训练，而后者则是通过反馈机制让机器自己平衡探索新方法和利用已有经验，最大化奖励次数。
深度学习
深度学习是机器学习的一个分支，主要使用神经网络模型（有多个隐藏层组成），对数据进行学习和表示。
通过对大量数据的学习，自动提取出数据的特征，从而实现图像识别、语音识别、自然语言处理等任务，比如在学习分辨水果过程中，会自动从复杂的信号如视觉、嗅觉等中提取层次化的特征，从而达到识别的目的。
生成式人工智能（AIGC）
生成式人工智能是深度学习中快速增长的子集，其使用了大模型提供支持，在大量原始、未标记的数据基础上对深度学习模型进行预训练，使得机器能够“理解”语言甚至图像，并能够根据需求生成内容。
大模型的使用与训练
使用
我们只需要根据我们的问题向大模型提出需求，就能获得详细的回答，但要注意所提出问题的关键词和方式需要严谨地按照问题来，往往几个字的区别，大模型所理解的意思和给出的答案的方向是截然不同的。
训练
大模型的训练大体分为预训练、SFT（监督微调）以及RLHF（基于人类反馈的强化学习）。
预训练：先学习底层的处理能力和知识，类似于我们在小学到高中的经历，这些经历让我们形成了对事物的认知以及拥有了最基本的处理事情的能力和学习能力；比如我们像大模型询问“埃菲尔铁塔在哪个国家”，其会根据看过的关联类似语句的语料中搜索答案，可能会因为有一个排比诗歌的一句话是“埃菲尔铁塔在哪个国家，东方明珠在哪个国家”而输出“东方明珠在哪个国家”而不是“法国”；
监督微调：相比较预训练，区别在于选择了一个特定的方向或领域去学习所需的知识点和能力，类似于在大学里我们学习某种专业知识以及对应的动手能力。在这个阶段，如果再像大模型提问“埃菲尔铁塔在哪个国家”，他会根据学习过的人类对话的语料以及垂直领域知识，按照人类的意图来回答这个问题，即大概率回答“法国”，但并不一定符合我们认知中的一些偏好，可能会有一些过激或者涉及到种族歧视等的言论；
基于人类反馈的强化学习：就像表面的说法一样，需要根据外界的反馈来判断是否要这么做，类似于在工作时作为一个新人小白，在遇到问题或开始培训时请教已经工作了很久的前辈或专家的经验。在这个阶段中，大模型会根据同一个问题给出不同的回答，人类会对这些回答进行打分，大模型会基于这些分数学习到如何输出分数最高的回答，使回答更符合偏好。
大模型的特点和分类
特点
1、规模和参数量大：大模型通过其庞大的规模来捕获复杂的数据模式，使得其能理解和生成极其丰富的信息；
2、适应性和灵活性强：能过通过微调或少样本学习高效地迁移到各种下游任务，有极强的跨域能力；
3、广泛数据集的训练：使用大量多样化的数据进行训练，以学习广泛的知识表示，能够掌握语言、图像等数据的通用特征；
4、计算资源需求大：巨大的规模带来了高昂的计算和资源需求，包括但不限于数据存储、训练空间、能量消耗和硬件设施
分类
1、大语言模型：专注于自然语言处理（NLP),旨在处理语言、文章、对话等自然语言文本。它们通常基于深度学习架构(如Transformer模型)经过大规模文本数据集训练而成，能够捕捉语言的复杂性，包括语法、语义、语境以及蕴含的文化和社会知识。语言大模型典型应用包括文本生成、问答系统、文本分类、机器翻译、对话系统等；
2、多模态模型（计算机视觉模型、音频处理模型等）：多模态大模型能够同时处理和理解来自不同感知通道(如文本、图像、音频、视频等)的数据，并在这些模态之间建立关联和交互。它们能够整合不同类型的输入信息，进行跨模态推理、生成和理解任务。多模态大模型的应用涵盖视觉问答、图像描述生成、跨模态检索:多媒体内容理解等领域。
学习来源于B站教程：【基础篇】04.大模型的工作流程_哔哩哔哩_bilibili