小波变换＋注意力机制成为nature收割机

小波变换作为一种新兴的信号分析工具，能够高效地提取信号的局部特征，为复杂数据的处理提供了有力支持。然而，它在捕捉数据中最为关键的部分时仍存在局限性。为了弥补这一不足，我们引入了注意力机制，借助其能够强化关注重点的优势，将小波变换与注意力机制相结合。这种结合不仅能够更全面、深入地挖掘数据特征，还能显著提升模型的性能和对复杂数据的处理能力。

这种创新的结合方式不仅在技术层面具有开创性，更在实际应用中展现出巨大的潜力。例如，在滚动轴承故障分类任务中，一种新颖的方法将一维改进的自注意力增强卷积神经网络与经验小波变换相结合，最终实现了100%的分类准确率。这一成果充分证明了小波变换与注意力机制结合的强大效果。

在学术界和工业界，小波变换与注意力机制的结合正变得越来越热门。它在去噪、检测等众多任务中均表现出色，为相关领域的研究和应用提供了新的思路和方法。同时，这一结合也为未来的研究提供了广阔的创新空间。

为了帮助有志于发表论文的同学们，我精心挑选了11篇最新的小波变换与注意力机制结合的创新方案。这些方案的代码大多已经开源，方便大家复现和寻找灵感。

我整理了一些时间序列【论文+代码】合集，需要的同学公人人人号【AI科研算法paper】发666自取。

我还整理出了相关的论文+开源代码，以下是精选部分论

                                                                论文1

标题:

Attention-Based CNN Fusion Model for Emotion Recognition During Walking Using Discrete Wavelet Transform on EEG and Inertial Signal

基于注意力机制的卷积神经网络融合模型，用于在行走过程中通过离散小波变换对EEG和惯性信号进行情绪识别

方法：

• 使用虚拟现实头戴式显示器（VR-HMD）设备刺激受试者的情绪，同时收集行走过程中的EEG和惯性信号。

• 通过离散小波变换（DWT）将多模态信号分别表示为虚拟情绪图像，作为输入提供给基于注意力机制的卷积神经网络（CNN）融合模型。

• 设计了一个简单轻量级的网络结构，整合了通道注意力机制，以提取和增强特征。

• 提出了一种决策融合算法，结合了Critic方法和多数投票策略，以确定影响最终决策结果的权重。

创新点：

• 提出了一个新的方法，通过多模态融合和端到端深度学习训练，准确地识别行走过程中的情绪。

• 设计了一种基于DWT的简单有效的特征转换方法，将输入信号表示为时频域。

• 开发了一种结合通道注意力机制的CNN结构，CNN根据传感器多通道信号的相关性提取区分性特征，通道注意力机制自适应地强调特征图中的关键部分，以实现进一步的特征优化。

• 提出了一种决策融合算法，使用评估矩阵和Critic方法对可能影响最终决策的预测标签进行加权，根据多数投票策略获得行走过程中情绪的最终预测结果。

• 使用VR-HMD设备使受试者沉浸在虚拟环境中，以产生快乐和恐惧情绪，从而刺激真实而深刻的情绪。

• 性能提升的具体数据：

• 提出的方法在比较实验中表现优于其他现有的最先进工作，准确率达到98.73%。

                                                                   论文2

标题：

Capsule Endoscopy Multi-classification via Gated Attention and Wavelet Transformations

通过门控注意力和小波变换进行胶囊内镜多分类

方法：

• 结合了Omni Dimensional Gated Attention（OGA）机制和小波变换技术，以增强模型在胶囊内镜图像中的特征提取能力。

• 利用小波变换技术，包括Stationary Wavelet Transform（SWT）和Discrete Wavelet Transform（DWT），来捕获图像的空间和频率域信息。

• 将从SWT和DWT提取的特征进行通道级连接，以捕获多尺度特征，这对于检测息肉、溃疡和出血等病变至关重要。

• 使用基于ResNet的编码器-解码器框架，其中编码器利用修改后的ResNet18骨干网络提取输入帧的复杂多级特征

创新点：

• 提出了一种新的深度学习模型，通过结合OGA机制和小波变换技术，提高了对胃肠道异常的自动分类能力。

• 通过OGA动态生成空间、通道、滤波器和核级注意力，使模型能够专注于每个维度中的相关特征。

• 利用SWT和DWT特征捕获多尺度信息，这对于准确区分不同类型的异常至关重要。

• 模型在不平衡的胶囊内镜数据集上实现了更高的分类准确率。性能提升的具体数据：

• 提出的模型在训练集上达到了92.76%的准确率，在验证集上达到了91.19%的准确率。

• 平衡准确率（Balanced Accuracy）为94.81%，AUC为87.49%，F1分数为91.11%，精确度为91.17%，召回率为91.19%，特异性为98.44%。

                                                                 论文3

标题：

Enhanced Fault Diagnosis in Motor Bearings: Leveraging Optimized Wavelet Transform and Non-Local Attention

利用优化的小波变换和非局部注意力提升电机轴承故障诊断

方法：

• 提出了一种新的方法，结合优化的连续小波变换（OCWT）和非局部卷积块注意力模块（NCBAM）来提升电机轴承故障诊断的准确性。

• 使用技能优化算法（SOA）对OCWT进行微调，SOA分为两个关键部分：获取专业知识（探索）和增强个体能力（利用）。

• NCBAM用于分类，能够捕捉空间和通道维度上的长程依赖关系。

• 模型使用学习矩阵，能够综合空间、通道和时间数据，通过提取复杂的相关性来平衡不同数据的贡献

创新点：

• 提出了一种新的故障诊断方法，通过结合优化的小波变换和非局部注意力机制，显著提高了电机轴承故障诊断的准确性。

• 通过SOA对OCWT进行优化，提高了小波变换的性能。

• 利用NCBAM捕捉长程依赖关系，增强了特征学习和分类性能。

• 通过学习矩阵综合多维度数据，提高了模型对复杂工业数据的处理能力。

• 性能提升的具体数据：

• 在轴承数据集上，模型达到了平均准确率94.17%。

• 在齿轮箱数据集上，模型达到了平均准确率95.77%。

                                                                     论文4

标题：

Streamflow modelling and forecasting for Canadian watersheds using LSTM networks with attention mechanism

使用带有注意力机制的LSTM网络对加拿大流域的径流建模和预测

方法：

• 研究了序列到序列的机器学习（ML）架构，特别是标准和基于注意力的编码器-解码器长短期记忆（LSTM）模型，用于加拿大流域的径流预测。

• 这些模型使用过去水文气象状态和每日气象数据作为输入，预测未来几天的径流。

• 在加拿大五大湖圣劳伦斯地区的10个不同流域进行了测试，这些流域位于加拿大经济中心地带。

创新点：

• 首次将注意力机制应用于加拿大水文学，证明了其在径流预测中的重要性和有效性。

• 注意力模型在所有流域中均显著优于标准模型，特别是在未见数据上的表现更为突出。

• 提出了基于LSTM的编码器-解码器架构，能够处理序列到序列的预测问题，将固定长度的输入向量映射到固定长度的输出向量。性能提升的具体数据：

• 注意力模型在未见数据上的平均Nash–Sutcliffe效率为0.985，Kling-Gupta效率为0.954，远高于标准模型的0.668和0.827。

• 注意力模型在预测当天径流（零天预测）时，平均RMSE为8.2 m³/s，而标准模型为40.39 m³/s，显示出显著的性能提升。