当前位置: 首页 > web >正文

transformer-实现单层Decoder 层

Decoder Layer

  • 论文地址

    https://arxiv.org/pdf/1706.03762

解码器层结构

  • Transformer解码器层由三种核心组件构成:

    1. Masked多头自注意力:关注解码器序列当前位置之前的上下文(因果掩码)

    2. Encoder-Decoder多头注意力:关注编码器输出的相关上下文

    3. 前馈神经网络:进行非线性特征变换

      image-20250429162448704

    今天这里实现的是上图中蓝色框中的单层DecoderLayer,不包含 embedding和位置编码,以及最后的Linear和Softmax。

    主要处理流程:

    1. Decoder 的Masked自注意力
    2. Encoder-Decoder自注意力
    3. 前馈神经网络:进行非线性特征变换
    4. 残差连接 + 层归一化
    5. Dropout:最终输出前进行随机失活

数学表达

  • 解码器层计算过程分为三个阶段:

    1. Masked自注意力阶段

    MaskedAtt ( Q , K , V ) = LayerNorm ( MultiHead ( Q , K , V ) + R e s i d u a l ) \text{MaskedAtt}(Q,K,V) = \text{LayerNorm}(\text{MultiHead}(Q,K,V) + Residual) MaskedAtt(Q,K,V)=LayerNorm(MultiHead(Q,K,V)+Residual)

    1. Encoder-Decoder注意力阶段

    CrossAtt ( Q d e c , K e n c , V e n c ) = LayerNorm ( MultiHead ( Q d e c , K e n c , V e n c ) + R e s i d u a l ) \text{CrossAtt}(Q_{dec}, K_{enc}, V_{enc}) = \text{LayerNorm}(\text{MultiHead}(Q_{dec},K_{enc},V_{enc}) + Residual) CrossAtt(Qdec,Kenc,Venc)=LayerNorm(MultiHead(Qdec,Kenc,Venc)+Residual)

    1. 前馈网络阶段

    FFN ( x ) = LayerNorm ( ReLU ( x W 1 + b 1 ) W 2 + b 2 + x ) \text{FFN}(x) = \text{LayerNorm}(\text{ReLU}(xW_1 + b_1)W_2 + b_2 + x) FFN(x)=LayerNorm(ReLU(xW1+b1)W2+b2+x)

    其中:

    1. d_model 为模型维度
    2. Residual 为残差连接
    3. 下标dec来源于Decoder自己的输出,下标enc为Encoder的输出

代码实现

  • 实现单层

    其他层的实现

    层名链接
    PositionEncodinghttps://blog.csdn.net/hbkybkzw/article/details/147431820
    calculate_attentionhttps://blog.csdn.net/hbkybkzw/article/details/147462845
    MultiHeadAttentionhttps://blog.csdn.net/hbkybkzw/article/details/147490387
    FeedForwardhttps://blog.csdn.net/hbkybkzw/article/details/147515883
    LayerNormhttps://blog.csdn.net/hbkybkzw/article/details/147516529
    EncoderLayerhttps://blog.csdn.net/hbkybkzw/article/details/147591824

    下面统一在before.py中导入

  • 实现单层的DecoderLayer

    import torch 
    from torch import nnfrom before import PositionEncoding,calculate_attention,MultiHeadAttention,FeedForward,LayerNormclass DecoderLayer(nn.Module):def __init__(self, n_heads, d_model, ffn_hidden, dropout_prob=0.1):super(DecoderLayer, self).__init__()self.masked_att = MultiHeadAttention(n_heads=n_heads, d_model=d_model, dropout_prob=dropout_prob)self.att = MultiHeadAttention(n_heads=n_heads, d_model=d_model, dropout_prob=dropout_prob)self.norms = nn.ModuleList([LayerNorm(d_model=d_model) for _ in range(3)])  # 三个归一化层self.ffn = FeedForward(d_model=d_model, ffn_hidden=ffn_hidden, dropout_prob=dropout_prob)self.dropout = nn.Dropout(dropout_prob)def forward(self, x, encoder_kv, dst_mask=None, src_dst_mask=None):# 第一阶段:Decoder 的Masked自注意力_x = xmask_att_out = self.masked_att(q=x, k=x, v=x, mask=dst_mask)mask_att_out = self.norms[0](mask_att_out + _x)  # 残差连接后归一化# 第二阶段:Encoder-Decoder注意力_x = mask_att_outatt_out = self.att(q=mask_att_out, k=encoder_kv, v=encoder_kv, mask=src_dst_mask)att_out = self.norms[1](att_out + _x)# 第三阶段:前馈网络_x = att_outffn_out = self.ffn(att_out)ffn_out = self.norms[2](ffn_out + _x)return self.dropout(ffn_out)
    
  • 注意力掩码机制

    掩码类型作用域功能描述
    dst_mask目标序列自注意力防止当前位置关注未来信息(因果掩码)
    src_dst_mask编码器-解码器注意力控制解码器查询对编码器键值对的访问权限
  • 参数说明

    参数名类型说明
    n_headsint注意力头数量
    d_modelint模型隐藏层维度
    ffn_hiddenint前馈网络中间层维度(通常4倍)
    dropout_probfloatDropout概率(默认0.1)

使用示例

  • 测试代码

    if __name__ == "__main__":# 实例化解码器层:8头,512维,前馈层2048,20% dropoutdecoder_layer = DecoderLayer(n_heads=8, d_model=512, ffn_hidden=2048, dropout_prob=0.2)# 模拟输入:batch_size=4,目标序列长度50,编码器输出长度80x = torch.randn(4, 50, 512)encoder_out = torch.randn(4, 80, 512)tgt_mask = Nonesrc_mask = Noneoutput = decoder_layer(x, encoder_out, dst_mask=tgt_mask, src_dst_mask=src_mask)print("输入形状:", x.shape)print("encode_kv 形状:", encoder_out.shape)print("输出形状:", output.shape)
    

http://www.xdnf.cn/news/2924.html

相关文章:

  • iOS签名的包支持推送功能吗?
  • Windows 桌面个性高效组件工具
  • 常用回环检测算法对比(SLAM)
  • 当向量数据库与云计算相遇:AI应用全面提速
  • 逆传播AIGEO营销:破局生成式搜索时代,让AI成为品牌代言人!
  • Go语言中的 `time.Tick` 函数详解
  • Qwen3简介:大型语言模型的革命
  • 数据库中常用的窗口函数
  • 第十六届蓝桥杯 2025 C/C++B组 第二轮省赛 全部题解(未完结)
  • k8s术语master,node,namepace,LABLE
  • std::unique_ptr的get方法
  • Prometheus使用Recoding Rules优化性能
  • antd+react实现html图片预览效果
  • 人事管理系统6
  • react-native 安卓APK打包流程
  • 【Linux学习笔记】进程替换和自定义shell
  • 自动化立库/AGV物流仿真详细步骤
  • MarkItDown:如何高效将各类文档转换为适合 LLM 处理的 Markdown 格式
  • Objective-C Block 底层原理深度解析
  • Hearts of Iron IV 钢铁雄心 4 [DLC 解锁] [Windows SteamOS macOS]
  • 基于tabula对pdf中多个excel进行识别并转换成word中的优化(四)
  • 防爆风扇储能轴流风机风量风压如何保障通风安全?
  • dify1.3.1更新又给我们带来了什么?
  • 已知条件概率,反推设计值
  • Vue3取消网络请求的方法(AbortController)
  • android开发中的多线程、数据存储同步功能实现方案和应用场景
  • 【SpringBoot】基于MybatisPlus的博客管理系统(1)
  • 常见的硬盘分类
  • SpringBoot、微服务与AI场景题深度解析
  • neo4j基础操作:命令行增删改查