Attention注意力机制

Attention核心思想

作用：处理时序问题

核心思想：处理序列数据时，网络应该更加关注输入中重要的部分，忽略不重要的部分。

要怎么做到？ 通过学习不同部分的权重，将输入的序列中的重要部分显式加权，使得模型可以更好地关注与输出有关的信息。Transformer中的Scaled Dot-Product Attention（缩放点积注意力）是自注意力机制的核心组件，其作用是通过计算查询（Query）、键（Key）和值（Value）之间的相关性，动态地分配权重并聚合信息。

核心组件：Query、Kay、Value

Query：表示当前需要关注的位置或内容，通常是编码器/解码器的当前输入向量，与其他位置的Key比较，决定哪些部分需要被关注。

Key：作为被检索的“标签”，用于与Query计算相关性，是与Query同源的输入序列，Key和Query的点积分数决定了注意力的权重。

Value：实际携带的信息，根据注意力权重被聚合，与Key同源的输入序列，常与Key共享输入但通过不同权重矩阵投影，最终的注意力输出是Value的加权和。

三者之间的关系

Attention为什么要除以sqrt（dk）？对注意力权重进行缩放，以确保数值的稳定性。