自然语言处理的发展

自然语言处理的发展

NLP理论的发展和应用

一、早期探索阶段（20世纪40 - 60年代）

• 起源与理论基础
  • 自然语言处理的起源可以追溯到20世纪40年代。当时，随着计算机技术的初步发展，人们开始探索如何让计算机处理语言信息。例如，1949年，美国数学家沃伦·韦弗（Warren Weaver）提出了机器翻译的构想，这被视为自然语言处理领域的开端。
  • 1950年，艾伦·图灵（Alan Turing）发表了著名的论文《计算机器与智能》，提出了图灵测试，为人工智能和自然语言处理的发展奠定了理论基础。图灵测试的核心思想是，如果一台机器能够与人类进行自然语言交流，而人类无法区分交流对象是机器还是人类，那么就可以认为这台机器具有智能。
• 机器翻译的尝试
  • 20世纪50年代，机器翻译成为自然语言处理的主要研究方向。1954年，IBM和乔治敦大学合作进行了著名的“乔治敦实验”，成功将俄语句子翻译成英语。这次实验展示了机器翻译的潜力，引起了广泛关注。然而，当时的机器翻译技术还非常简单，主要基于词典和简单的规则。例如，将俄语单词直接翻译成英语单词，而不考虑语法和语义结构。这种早期的机器翻译系统存在很大的局限性，翻译结果往往错误百出，难以理解。

二、规则系统阶段（20世纪60 - 80年代）

• 基于规则的自然语言处理
  • 在20世纪60 - 80年代，自然语言处理主要采用基于规则的方法。研究人员编写大量的语法规则和词汇规则来解析和生成语言。例如，1966年，约瑟夫·魏岑鲍姆（Joseph Weizenbaum）开发了ELIZA程序，这是一个简单的聊天机器人，能够通过预设的规则与用户进行简单的对话。它通过模式匹配和简单的替换规则来回应用户输入，比如用户输入“我感到孤独”，ELIZA可能会回答“为什么你感到孤独呢？”。
  • 这一时期还出现了许多基于规则的语法分析系统，如1970年左右的“增广转换语法”（Augmented Transition Network，ATN）。这些系统试图通过复杂的规则来描述语言的语法结构，但随着语言复杂性的增加，规则的数量呈指数级增长，导致系统的可扩展性差，难以处理复杂的语言现象。
• 专家系统的兴起
  • 同时，专家系统也在自然语言处理领域得到应用。专家系统是一种模拟人类专家解决复杂问题的计算机程序，它通过存储大量的知识规则来处理特定领域的语言信息。例如，在医学领域，专家系统可以通过对医学文献中自然语言描述的疾病症状和治疗方法的规则化处理，为医生提供辅助诊断建议。但这些专家系统通常依赖于领域专家手动编写规则，开发成本高且容易出错。

三、统计方法阶段（20世纪80 - 90年代）

• 统计方法的引入
  • 20世纪80年代末至90年代，统计方法开始在自然语言处理中占据主导地位。这一转变的背景是，基于规则的方法在处理复杂语言现象时遇到了瓶颈，而统计方法能够更好地利用语言数据的统计规律。例如，1985年，IBM的统计机器翻译模型（如IBM模型1 - 5）开始出现。这些模型通过分析双语语料库（即包含源语言和目标语言句子对的数据集）来学习翻译的概率模型。模型会计算源语言单词和目标语言单词之间的对齐概率，从而实现更准确的翻译。
  • 同时，隐马尔可夫模型（Hidden Markov Model，HMM）也被应用于自然语言处理中的词性标注任务。词性标注是给句子中的每个单词标注其词性的任务，例如名词、动词等。HMM通过计算单词序列和词性序列之间的概率关系，能够自动标注词性，而无需手动编写复杂的规则。
• 语料库的建设与应用
  • 在统计方法阶段，语料库的建设成为关键。语料库是大量自然语言文本的集合，为统计模型提供了数据基础。例如，宾州树库（Penn Treebank）是一个标注了语法结构的英语语料库，它为语法分析等自然语言处理任务提供了丰富的训练数据。研究人员通过在语料库上训练统计模型，使模型能够学习语言的统计规律，从而提高自然语言处理系统的性能。

四、深度学习阶段（2010年 - 至今）

• 深度学习技术的推动
  • 2010年以后，深度学习技术的兴起为自然语言处理带来了革命性的变化。深度学习模型能够自动学习语言的特征表示，而无需人工设计复杂的特征。例如，循环神经网络（Recurrent Neural Network，RNN）及其变体长短期记忆网络（Long Short - Term Memory，LSTM）和门控循环单元（Gated Recurrent Unit，GRU）被广泛应用于自然语言处理任务。这些模型能够处理序列数据，如句子或文档，通过记忆单元捕捉语言中的长距离依赖关系。例如，在语言模型任务中，LSTM可以预测句子中下一个单词的概率，同时考虑前面单词的上下文信息。
  • 2018年，Transformer架构的出现进一步推动了自然语言处理的发展。Transformer模型通过自注意力机制（Self - Attention Mechanism）能够并行处理序列数据，大大提高了计算效率。基于Transformer架构的预训练语言模型（如BERT、GPT等）成为自然语言处理领域的主流技术。BERT（Bidirectional Encoder Representations from Transformers）通过在大规模语料库上进行无监督预训练，学习语言的通用特征表示，然后在特定任务上进行微调，能够实现多种自然语言处理任务，如文本分类、问答系统、命名实体识别等。GPT（Generative Pre - trained Transformer）则侧重于生成任务，能够生成连贯、自然的文本，如新闻报道、故事创作等。
• 多模态融合与应用拓展
  • 近年来，自然语言处理还与计算机视觉、语音识别等其他领域进行融合，形成了多模态自然语言处理。例如，在图像描述生成任务中，模型需要同时理解图像内容和语言信息，生成与图像匹配的自然语言描述。此外，自然语言处理的应用场景也在不断拓展，从传统的机器翻译、文本分类等任务，扩展到智能客服、智能写作、语言辅助学习等实际应用领域。

在深度学习阶段，自然语言处理领域出现了多个经典架构，每个架构都在当时解决了特定的问题，同时也暴露出一些新的挑战。以下按照时间线介绍这些经典架构，并分析它们的贡献和缺陷。

NLP的深度学习理论的发展

1. 循环神经网络（RNN）及其变体（2010年代初）

背景与贡献

• 循环神经网络（RNN）：RNN是最早用于处理序列数据的深度学习模型。它的核心思想是通过循环结构来处理序列中的每个元素，并利用隐藏状态来传递上下文信息。RNN能够处理变长的输入序列，例如句子或文档，这使得它在自然语言处理任务中具有很大的潜力。
• 长短期记忆网络（LSTM）：为了解决RNN在处理长序列时的梯度消失问题（即隐藏状态在传播过程中逐渐衰减，导致模型无法捕捉长距离依赖关系），LSTM引入了门控机制。LSTM通过输入门、遗忘门和输出门来控制信息的流动，能够有效地保存和更新重要的上下文信息，从而更好地捕捉长距离依赖关系。
• 门控循环单元（GRU）：GRU是LSTM的简化版本，它将LSTM的多个门控机制合并为更新门和重置门。GRU在计算效率上比LSTM更高，同时也能较好地解决长距离依赖问题。

解决的问题

• 序列建模能力：RNN及其变体能够处理变长的序列数据，适用于自然语言处理中的句子生成、文本分类、机器翻译等任务。
• 长距离依赖：LSTM和GRU通过门控机制解决了RNN在处理长序列时的梯度消失问题，能够更好地捕捉长距离依赖关系。

缺陷

• 梯度消失/爆炸问题：虽然LSTM和GRU在一定程度上缓解了梯度消失问题，但在极端情况下仍然可能出现梯度爆炸（即隐藏状态在传播过程中逐渐放大）。
• 计算效率低：RNN及其变体是按时间步逐个处理序列的，无法并行计算，导致训练和推理速度较慢。
• 难以处理非常长的序列：即使有了LSTM和GRU，当序列长度非常长时，模型的性能仍然会下降。

优势

• 能够处理变长的序列数据，适合处理自然语言中的句子和文档。
• LSTM和GRU通过门控机制解决了梯度消失问题，能够捕捉长距离依赖关系。

主要任务

• 语言建模（Language Modeling）
  • 预测句子中下一个单词或字符的概率分布。例如，给定句子“我今天去……”，模型预测下一个单词可能是“学校”“上班”等。
  • 应用场景：文本生成、自动补全、语音识别。
• 文本分类（Text Classification）
  • 对文本进行分类，判断其所属的类别。例如，情感分析（判断文本的情感倾向是正面还是负面）、主题分类（判断文本的主题是科技、体育还是娱乐等）。
  • 应用场景：垃圾邮件检测、新闻分类、情感分析。
• 机器翻译（Machine Translation）
  • 将一种语言的文本翻译成另一种语言。例如，将中文翻译成英文或反之。
  • 应用场景：跨语言交流、多语言文档翻译。
• 问答系统（Question Answering）
  • 根据给定的问题，从文本中提取答案。例如，给定一个问题“谁发明了电话？”模型可以从文本中找到答案“亚历山大·贝尔”。
  • 应用场景：智能客服、知识问答系统。
• 文本生成（Text Generation）
  • 生成自然语言文本，例如生成新闻报道、故事、诗歌等。
  • 应用场景：创意写作、内容生成。

2. Transformer架构（2017年）

背景与贡献

• Transformer架构：由Vaswani等人在2017年提出，Transformer的核心是自注意力机制（Self-Attention Mechanism）。自注意力机制能够并行处理序列中的所有元素，并通过计算每个元素之间的相关性来动态分配权重，从而捕捉全局依赖关系。Transformer架构还引入了多头注意力机制（Multi-Head Attention），进一步提升了模型对不同子空间信息的捕捉能力。
• 预训练语言模型（如BERT）：基于Transformer架构，BERT（Bidirectional Encoder Representations from Transformers）在2018年被提出。BERT通过在大规模语料库上进行无监督预训练（如掩码语言模型MLM和下一句预测NSP任务），学习语言的通用特征表示，然后在特定任务上进行微调。BERT的出现极大地提升了自然语言处理任务的性能。

解决的问题

• 并行计算：Transformer架构通过自注意力机制实现了并行计算，大大提高了训练和推理速度。
• 全局依赖捕捉：自注意力机制能够动态计算序列中每个元素之间的相关性，捕捉全局依赖关系，解决了RNN及其变体只能捕捉局部依赖的问题。
• 预训练与微调：BERT等预训练语言模型通过无监督预训练学习通用语言特征，然后在特定任务上进行微调，显著提升了模型在各种自然语言处理任务上的性能。

缺陷

• 计算资源需求高：Transformer架构的计算复杂度较高，尤其是当序列长度较长时，计算量和内存需求会显著增加。
• 难以处理非常长的序列：尽管Transformer能够捕捉全局依赖关系，但在处理非常长的序列时，计算复杂度和内存需求仍然会成为瓶颈。
• 模型过大：预训练语言模型（如BERT、GPT）通常包含大量的参数，导致模型体积庞大，部署成本高。

优势

• 自注意力机制能够并行处理序列数据，大大提高了计算效率。
• 能够捕捉全局依赖关系，适合处理长序列数据。

主要任务

• 语言建模（Language Modeling）
  • 与RNN类似，Transformer能够更高效地预测句子中下一个单词的概率分布。
  • 应用场景：文本生成、自动补全。
• 文本分类（Text Classification）
  • Transformer架构能够捕捉文本中的全局依赖关系，从而更准确地进行分类。
  • 应用场景：情感分析、主题分类。
• 机器翻译（Machine Translation）
  • Transformer通过自注意力机制能够更好地捕捉源语言和目标语言之间的对齐关系，生成更准确的翻译。
  • 应用场景：跨语言交流、多语言文档翻译。
• 问答系统（Question Answering）
  • Transformer能够更好地理解问题和上下文之间的关系，从而更准确地提取答案。
  • 应用场景：智能客服、知识问答系统。
• 文本生成（Text Generation）
  • Transformer架构（如GPT系列）能够生成高质量、连贯的文本。
  • 应用场景：创意写作、内容生成。

3. Transformer-XL（2019年）

背景与贡献

• Transformer-XL：为了解决Transformer在处理长序列时的局限性，Transformer-XL引入了段级循环机制（Segment - Level Recurrence Mechanism）。它将长序列划分为多个段落，通过在段落之间传递隐藏状态，使得模型能够捕捉更长距离的依赖关系。Transformer-XL还引入了相对位置编码（Relative Position Encoding），进一步提升了模型对位置信息的建模能力。

解决的问题

• 长序列建模：通过段级循环机制，Transformer-XL能够处理比传统Transformer更长的序列，解决了Transformer在长序列建模上的不足。
• 位置信息建模：相对位置编码使得模型能够更好地捕捉位置信息，进一步提升了模型的性能。

缺陷

• 复杂度增加：虽然Transformer-XL在长序列建模上有所改进，但其计算复杂度和内存需求也相应增加。
• 训练难度：段级循环机制和相对位置编码的引入使得模型的训练过程更加复杂，需要更多的计算资源和时间。

4. GPT系列（2018年 - 至今）

背景与贡献

• GPT（Generative Pre - trained Transformer）：由OpenAI提出，GPT系列模型（如GPT-1、GPT-2、GPT-3等）基于Transformer架构，专注于生成任务。GPT通过无监督预训练学习语言的生成能力，能够生成高质量的文本，如新闻报道、故事创作等。GPT-3更是以超大规模的参数量（1750亿参数）和强大的生成能力引起了广泛关注。
• GPT-4：GPT-4在多模态融合、逻辑推理和知识表示等方面进行了进一步优化，能够处理更复杂的任务，如代码生成、多语言翻译等。

解决的问题

• 文本生成：GPT系列模型通过无监督预训练学习语言的生成能力，能够生成高质量、连贯的文本，解决了传统生成模型生成文本质量低下的问题。
• 多任务适应性：GPT系列模型通过微调或零样本学习（Zero - Shot Learning）能够适应多种自然语言处理任务，如问答、分类、翻译等。

缺陷

• 模型过大：GPT系列模型的参数量巨大，导致模型体积庞大，训练和部署成本极高。
• 生成内容的可控性差：虽然GPT能够生成高质量的文本，但生成内容的可控性较差，容易生成不符合用户意图或逻辑不一致的文本。
• 训练数据的偏差：GPT的预训练数据来源于互联网，可能存在数据偏差或错误信息，导致生成内容的可靠性和准确性受到影响。

优势

• 模型具有强大的生成能力，能够生成高质量的文本。
• 通过预训练学习语言的通用特征，适用于多种任务。

主要任务

• 文本生成（Text Generation）
  • GPT系列模型能够生成高质量、连贯的文本，适用于创意写作、内容生成等任务。
  • 应用场景：新闻报道、故事创作、代码生成。
• 问答系统（Question Answering）
  • GPT能够通过上下文理解问题，并生成自然语言回答。
  • 应用场景：智能客服、知识问答系统。
• 机器翻译（Machine Translation）
  • GPT能够将一种语言的文本翻译成另一种语言。
  • 应用场景：跨语言交流、多语言文档翻译。
• 多任务学习（Multi - Task Learning）
  • GPT通过微调或零样本学习能够适应多种自然语言处理任务，如文本分类、情感分析等。
  • 应用场景：多任务模型部署。

5. BERT系列（2018年 - 至今）

背景与贡献

• BERT（Bidirectional Encoder Representations from Transformers）：BERT通过掩码语言模型（MLM）和下一句预测（NSP）任务进行无监督预训练，学习语言的双向上下文信息。BERT的出现极大地提升了自然语言处理任务的性能，尤其是在文本分类、问答系统等任务中。
• RoBERTa、ALBERT等变体：为了进一步优化BERT的性能，研究人员提出了多种变体，如RoBERTa（通过更大的训练数据和更长的训练时间提升性能）、ALBERT（通过参数共享和轻量化设计减少模型大小）等。

解决的问题

• 双向上下文建模：BERT通过掩码语言模型任务学习双向上下文信息，解决了传统单向语言模型（如RNN、GPT）只能捕捉单向依赖的问题。
• 预训练与微调：BERT通过无监督预训练学习通用语言特征，然后在特定任务上进行微调，显著提升了模型的性能。

缺陷

• 模型过大：BERT及其变体通常包含大量的参数，导致模型体积庞大，部署成本高。
• 训练数据的偏差：BERT的预训练数据来源于互联网，可能存在数据偏差或错误信息，导致模型在某些任务上的性能受到影响。
• 计算资源需求高：BERT的训练和推理需要大量的计算资源，尤其是当模型规模较大时，计算复杂度和内存需求会显著增加。

优势

• 通过预训练学习通用语言特征，适用于多种自然语言处理任务。
• 双向上下文建模能够更好地捕捉语言的语义信息。

主要任务

• 文本分类（Text Classification）
  • BERT通过预训练学习语言的双向上下文信息，能够更准确地进行文本分类。
  • 应用场景：情感分析、主题分类。
• 问答系统（Question Answering）
  • BERT能够理解问题和上下文之间的双向关系，从而更准确地提取答案。
  • 应用场景：智能客服、知识问答系统。
• 命名实体识别（Named Entity Recognition, NER）
  • 识别文本中的命名实体（如人名、地名、组织名等）。
  • 应用场景：信息抽取、知识图谱构建。
• 语义相似性（Semantic Similarity）
  • 判断两个句子或文本片段的语义相似性。
  • 应用场景：文本匹配、信息检索。
• 自然语言推理（Natural Language Inference, NLI）
  • 判断两个句子之间的逻辑关系（如蕴含、矛盾、中立）。
  • 应用场景：文本分析、信息验证。

6. 多模态融合架构（2020年 - 至今）

背景与贡献

• 多模态融合：近年来，自然语言处理与计算机视觉、语音识别等领域进行融合，形成了多模态自然语言处理。例如，CLIP（Contrastive Language - Image Pre - training）通过对比学习，将图像和文本映射到同一特征空间，实现了图像 - 文本检索、图像描述生成等任务。ViT（Vision Transformer）将Transformer架构引入计算机视觉领域，进一步推动了多模态融合的发展。
• 多模态预训练模型：如BLIP（Bootstrapped Language - Image Pre - training）、Flamingo等模型通过多模态预训练学习图像和文本的联合表示，能够处理更复杂的多模态任务，如视觉问答（VQA）、多模态分类等。

解决的问题

• 多模态任务：多模态融合架构能够处理图像、文本、语音等多种模态的信息，解决了传统单模态模型无法处理多模态任务的问题。
• 跨模态理解：通过对比学习和联合预训练，多模态模型能够实现跨模态的理解和生成，例如根据图像生成描述文本，或根据文本检索相关图像。

缺陷

• 数据标注成本高：多模态任务通常需要大量的标注数据，尤其是图像 - 文本对等多模态数据的标注成本较高。
• 模型复杂度高：多模态融合模型通常包含多个模态的特征提取模块和融合模块，计算复杂度和内存需求较高。
• 跨模态对齐困难：不同模态的信息在特征空间中的对齐是一个挑战，模型可能难以准确地捕捉模态之间的语义关联。

词嵌入方法的发展

词嵌入（Word Embedding）是自然语言处理（NLP）领域中一个非常重要的技术，它将词汇映射到高维向量空间中，使得词向量能够捕捉词汇的语义和语法信息。词嵌入技术的发展经历了多个阶段，从最初的基于计数的方法到现代的基于深度学习的方法，每一步都极大地推动了自然语言处理技术的进步。

1. 基于计数的方法（20世纪80年代 - 2010年代初）

背景与方法

• One - Hot 编码
  • 最早的词嵌入方法是One - Hot编码。在这种方法中，每个单词被表示为一个独热向量，即在词汇表大小的向量中，对应单词的位置为1，其余位置为0。例如，词汇表为[“apple”, “banana”, “cherry”]，则"apple"的One - Hot编码为[1, 0, 0]。
  • 优点：简单直观，易于实现。
  • 缺点：维度灾难（向量维度与词汇表大小相同），无法捕捉词汇之间的语义关系。
• 词袋模型（Bag - of - Words, BoW）
  • 词袋模型将文本表示为词汇表中单词的频率向量。例如，句子"I like apples and I like bananas"可以表示为[2, 2, 0]（假设词汇表为[“apple”, “banana”, “cherry”]）。
  • 优点：能够捕捉单词的频率信息。
  • 缺点：丢失了单词的顺序信息，无法捕捉词汇之间的语义关系。
• TF - IDF（Term Frequency - Inverse Document Frequency）
  • TF - IDF是一种改进的词袋模型，通过计算单词在文档中的频率（TF）和逆文档频率（IDF）来衡量单词的重要性。例如，某个单词在文档中出现的频率高，但在其他文档中出现的频率低，则该单词对文档的区分度高，TF - IDF值也高。
  • 优点：能够衡量单词的重要性，适用于文档分类和信息检索。
  • 缺点：仍然丢失了单词的顺序信息，无法捕捉词汇之间的语义关系。

2. 基于矩阵分解的方法（2000年代 - 2010年代初）

背景与方法

• 潜在语义分析（Latent Semantic Analysis, LSA）
  • LSA通过奇异值分解（SVD）将词 - 文档矩阵分解为低维的词 - 概念矩阵和概念 - 文档矩阵。例如，给定一个词 - 文档矩阵，通过SVD可以得到每个单词和文档在低维概念空间中的表示。
  • 优点：能够捕捉词汇之间的语义关系，适用于信息检索和文档分类。
  • 缺点：计算复杂度高，依赖于大规模的语料库，且无法处理新出现的单词。
• 概率潜在语义分析（Probabilistic Latent Semantic Analysis, PLSA）
  • PLSA是一种基于概率模型的改进方法，通过EM算法估计单词和文档在潜在主题空间中的概率分布。
  • 优点：能够捕捉词汇之间的语义关系，适用于信息检索和文档分类。
  • 缺点：计算复杂度高，依赖于大规模的语料库，且无法处理新出现的单词。

3. 基于神经网络的方法（2010年代 - 至今）

背景与方法

• Word2Vec（2013年）
  • Word2Vec由Google提出，包括两种模型：连续词袋模型（Continuous Bag - of - Words, CBOW）和跳字模型（Skip - Gram）。CBOW通过上下文单词预测目标单词，而Skip - Gram通过目标单词预测上下文单词。例如，给定句子"I love natural language processing"，CBOW的任务是根据上下文[“love”, “natural”, “language”]预测目标单词"processing"，而Skip - Gram的任务是根据目标单词"processing"预测上下文[“love”, “natural”, “language”]。
  • 优点：能够捕捉词汇之间的语义和语法关系，计算效率高。
  • 缺点：无法处理罕见单词和新出现的单词，对词汇表大小有限制。
• GloVe（2014年）
  • GloVe（Global Vectors for Word Representation）通过构建单词 - 单词的共现矩阵，并通过矩阵分解学习单词的向量表示。例如，给定一个大规模的语料库，GloVe会统计单词之间的共现频率，并通过优化目标函数学习每个单词的向量表示。
  • 优点：能够捕捉词汇之间的语义关系，适用于多种NLP任务。
  • 缺点：计算复杂度高，依赖于大规模的语料库，且无法处理出现新的单词。
• FastText（2016年）
  • FastText通过将单词分解为字符n - 元组（character n - grams），能够处理罕见单词和新出现的单词。例如，单词"apple"可以分解为[“<ap”, “app”, “pple”, “ple>”]（假设n = 3）。
  • 优点：能够处理罕见单词和新出现的单词，适用于多种NLP任务。
  • 缺点：计算复杂度较高，模型体积较大。

4. 上下文相关的词嵌入（2018年 - 至今）

背景与方法

• BERT（2018年）
  • BERT（Bidirectional Encoder Representations from Transformers）通过掩码语言模型（MLM）和下一句预测（NSP）任务进行无监督预训练，学习语言的双向上下文信息。例如，给定句子"I went to [MASK] yesterday"，BERT的任务是根据上下文预测被掩码的单词"store"。
  • 优点：能够捕捉词汇的上下文信息，适用于多种NLP任务，如文本分类、问答系统、命名实体识别等。
  • 缺点：模型体积庞大，训练和部署成本高。
• RoBERTa（2019年）
  • RoBERTa是BERT的改进版本，通过更大的训练数据和更长的训练时间提升性能。例如，RoBERTa在多个NLP任务上取得了比BERT更好的性能。
  • 优点：性能优于BERT，适用于多种NLP任务。
  • 缺点：模型体积庞大，训练和部署成本高。
• ALBERT（2019年）
  • ALBERT通过参数共享和轻量化设计减少模型大小，同时保持了BERT的性能。例如，ALBERT在命名实体识别等任务上取得了与BERT相当的性能，但模型体积更小。
  • 优点：模型体积小，训练和部署成本低。
  • 缺点：在某些任务上性能略低于BERT和RoBERTa。

5. 多模态词嵌入（2020年 - 至今）

背景与方法

• CLIP（2020年）
  • CLIP（Contrastive Language - Image Pre - training）通过对比学习将图像和文本映射到同一特征空间，实现了图像 - 文本检索、视觉问答等任务。例如，给定一张图片和多个文本描述，CLIP能够判断哪个描述与图片最匹配。
  • 优点：能够处理多模态数据，适用于图像 - 文本检索、视觉问答等任务。
  • 缺点：训练数据标注成本高，模型复杂度高。
• ViT（2020年）
  • ViT（Vision Transformer）将Transformer架构引入计算机视觉领域，能够处理图像数据。例如，ViT将图像分割为多个小块（patches），并通过Transformer架构学习图像的特征表示。
  • 优点：能够处理图像数据，适用于图像分类、目标检测等任务。
  • 缺点：计算复杂度高，模型体积大。
• BLIP（2022年）
  • BLIP（Bootstrapped Language - Image Pre - training）通过多模态预训练学习图像和文本的联合表示，能够处理更复杂的多模态任务，如视觉问答、图像描述生成等。例如，BLIP能够根据图像生成自然语言描述。
  • 优点：能够处理多模态数据，适用于视觉问答、图像描述生成等任务。
  • 缺点：训练数据标注成本高，模型复杂度高。