当前位置: 首页 > news >正文

无人机小目标检测新SOTA:MASF-YOLO重磅开源,多模块协同助力精度飞跃

【导读】

这篇论文针对的是无人机航拍图像中的小目标检测这一极具挑战性的任务。无人机视角下的目标通常像素占比极小、尺度多变且背景复杂,导致主流检测模型性能显著下降。为此,作者在YOLOv11的基础上,提出了一种名为MASF-YOLO的创新网络结构,在精度和效率之间取得了卓越的平衡。

目录

一、提出的方法

二、实验

数据集

训练设置

评估指标

消融研究

与最先进方法的比较

结论


本文提出了一种保持轻量级框架的高精度算法,专为无人机图像中的小目标检测而设计,命名为MASF-YOLO。通过严谨的实证分析和实验验证,我们系统地证明了我们的方法中为这一特定任务纳入的多个创新设计理念的有效性。更详细地说,我们工作的新颖性和贡献可列举如下:

  • 为解决小目标因重复下采样而丢失细节信息的问题,我们构建了一个高分辨率小目标检测层。该架构融入了P2级别的细粒度特征图,以充分利用其保留的丰富空间细节,显著增强了模型对小尺度目标的特征表示能力。此外,在颈部网络中添加了跳跃连接以保留更多的浅层语义信息,这有效缓解了深层网络中的语义信息丢失。

  • 在小目标检测任务中,目标通常包含有限的像素信息,因此需要更丰富的上下文信息来辅助检测。为应对这一挑战,我们提出了一种新的多尺度特征聚合模块(MFAM),能有效捕获目标的丰富上下文信息。该架构实现了更有效的特征提取,从而显著提高了小目标的检测精度。

  • 背景噪声一直是损害无人机应用中目标检测性能的关键因素。为有效抑制此类干扰,我们提出了一个改进的高效多尺度注意力模块(IEMA),通过特征分组、并行子网络和跨空间学习实现特征交互和增强。它有效改善了目标区域的特征表示,同时显著抑制了背景噪声干扰,从而提高了复杂场景下的目标检测性能。

  • 为克服基于无人机的小目标检测中的多尺度特征融合挑战,我们引入了维度感知选择性集成模块(DASI)来自适应地融合低维特征和高维特征。它显著提高了颈部网络的多尺度表示能力,从而增强了检测性能。

图片1.png

论文标题:

MASF-YOLO: An Improved YOLOv11 Network for Small Object Detection on Drone View

论文链接

https://arxiv.org/pdf/2504.18136


一、提出的方法

MASF-YOLO网络的整体架构如图1所示。具体而言,我们在基线模型上增加了一个小目标检测层(P2层),使网络能够专注于检测小目标。

图片2.png

其次,考虑到目标尺度变化的影响,我们通过优化PKINet设计了一个多尺度特征聚合模块(MFAM)。这种特征聚合方法有助于骨干网络捕获丰富的上下文信息,从而提高网络检测小目标的性能。此外,为增强特征传播并保留细粒度细节,我们在颈部网络的浅层和深层特征图之间加入了跨层跳跃连接,称为Fusion。这些Fusion建立了直接通路,用于传输来自早期层的高分辨率空间信息,有效补偿了深度网络操作造成的语义信息损失。另外,为减轻背景噪声的干扰,我们受EMA启发,提出了一个改进的高效多尺度注意力(IEMA)模块。该注意力机制通过特征分组、并行子网络和跨空间学习实现特征交互和增强,有效应对了背景噪声带来的挑战。最后,我们引入了维度感知选择性集成(DASI)模块来增强颈部网络的多尺度特征融合能力。这种融合机制自适应地聚合低维和高维特征,对提高网络的检测精度起着至关重要的作用。

值得一提的是,对于希望复现或进一步探索此类模型的研究者,可以借助如Coovally这样的高效AI开发平台,Coovally不仅提供了丰富的开源数据资源和算法组件,更在开发体验和训练效率上进行了全面优化。

模型数据集.GIF

研究者可以在平台上使用自己熟悉的开发工具(如 VS Code、Cursor 等),通过 SSH 协议直连云端算力,享受如同本地一样的实时开发与调试体验,同时调用高性能 GPU 环境,极大地加速了实验迭代与模型训练进程。

SSH.GIF


二、实验

本节首先介绍了用于评估模型目标检测性能的数据集、实验设置、训练策略以及所用指标。然后以YOLOv11-s为基线,通过消融实验验证了各项创新对基线的影响。此外,我们将我们的模型与其他最先进(SOTA)方法进行比较,以证明其竞争性能。为便于直观评估,我们展示了我们的方法与基线方法检测结果的对比可视化,这些定性展示与定量指标高度一致,共同验证了我们改进策略的有效性。

  • 数据集

VisDrone2019数据集由天津大学机器学习与数据挖掘实验室的AISKYEYE团队开发,是一个大规模航空图像数据集,包含288个视频片段、261,908帧和10,209张静态图像,由不同无人机在各种场景下拍摄。

  • 训练设置

本文提出的模型在PyTorch中实现,CUDA版本为11.3,实验环境包括操作系统Ubuntu 20.04和NVIDIA GeForce RTX 4090D 24G显卡。使用随机梯度下降(SGD)优化器进行模型训练。初始学习率设置为0.01,动量为0.937,并使用余弦退火策略动态调整学习率。训练阶段的批次大小(batch size)设置为12,训练周期(epoch)数设置为100。此外,在训练阶段,所有图像都被调整大小为640x640像素。

  • 评估指标

为全面评估我们提出模型的性能,我们采用了目标检测任务中常用的几个关键指标:精确率(P)、召回率(R)、mAP@0.5、mAP@0.5:0.95、参数量(Params)GFLOPs

  • 消融研究

为验证本文提出模型的有效性,我们选择YOLOv11-s作为基线网络,并通过消融实验评估了P2层、MFAM、Fusion、IEMA和DASI模块对基线网络的影响。如表I所示,当每个模块被添加到基线时,大多数性能指标均呈现上升趋势。因此,这些消融实验验证了本文提出方法的有效性。

图片3.png

如表II所示,通过调整网络的深度和宽度,我们评估了MASF-YOLO和YOLOv11的不同模型尺寸在VisDrone2019验证集和测试集上的性能。显然,我们提出的改进策略在所有版本上都实现了最佳性能。令人惊讶的是,将我们的贡献应用于YOLOv11-s后,其性能甚至超过了YOLOv11-m,在无人机场景中展现了卓越的精度-效率权衡。

图片4.png

  • 与最先进方法的比较

如表III所示,与最先进的目标检测器相比,所提出的模型保持了优异的准确性,并展现出强大的竞争力。

图片5.png

此外,在图5中,我们展示了两个极具代表性的检测结果,其中基线模型漏检但被MASF-YOLO-s成功检测到的小目标用红色边界框突出显示。可以观察到,MASF-YOLO-s实现了显著更准确的检测。

图片6.png

Coovally平台还可以直接查看“实验日志”。在每一个实验详情页中,用户都可以实时查看训练日志、输出信息或报错内容,无需额外配置、无缝集成于工作流中!

实验日志.GIF

不论是模型调参、错误排查,还是过程复现,这项新功能都将大幅提升你的实验效率。

!!点击下方链接,立即体验Coovally!!

平台链接:https://www.coovally.com


结论

在本工作中,我们通过多项改进提高了无人机遥感中小目标检测的准确性。首先,我们引入了一个小目标检测层,显著增强了网络检测小目标的能力。其次,我们将MFAM模块嵌入到骨干网络中,以从目标中提取丰富的上下文信息。此外,在颈部网络中加入了跳跃连接,以保留浅层语义信息并减少深层网络的信息损失。再者,采用IEMA模块来增强特征表示,同时减少背景噪声干扰。最后,采用DASI模块自适应地融合低层和高层特征,提高了颈部网络的特征融合能力。实验结果验证了这一改进策略的有效性和潜力,为小目标检测的进一步研究提供了有价值的见解。

http://www.xdnf.cn/news/1461763.html

相关文章:

  • [特殊字符] 香蕉超市|Nano Bananary|ZHO|已开源
  • 大数据毕业设计选题推荐-基于大数据的分化型甲状腺癌复发数据可视化分析系统-Spark-Hadoop-Bigdata
  • 85 printk 输出丢失数据
  • 分布式专题——1.1 Redis单机、主从、哨兵、集群部署
  • 解决 Apache/WAF SSL 证书链不完整导致的 PKIX path building failed 问题
  • 还在为第三方包 bug 头疼?patch-package 让你轻松打补丁!
  • 时间轮算法在workerman心跳检测中的实战应用
  • leecode kadane算法 解决数组中子数组的最大和,以及环形数组连续子数组的最大和问题
  • Doirs Routine Load
  • PHP:驱动现代Web应用发展的核心力量
  • 【AI产品思路】AI 原型设计工具横评:产品经理视角下的 v0、Bolt 与 Lovable
  • 如何在 C# 中将文本转换为 Word 以及将 Word 转换为文本
  • Python 实现 Markdown 与 Word 高保真互转(含批量转换)
  • Windows 文件资源管理器无法预览文件内容word、ppt、excel、pdf
  • python创建并写入excel文件
  • Go语言的编译和运行过程
  • 【案例】AI语音识别系统的标注分区策略
  • 云计算学习笔记——日志、SELinux、FTP、systemd篇
  • FastGPT源码解析 工作流、知识库、大模型、Agent等核心代码文件梳理
  • es运维常用命令
  • 基于cornerstone3D的dicom影像浏览器 第四章 鼠标实现翻页、放大、移动、窗宽窗位调节
  • 进阶向:Python生成艺术图案(分形、数学曲线)
  • 深度相机详解
  • Spring Boot启动失败从循环依赖到懒加载配置的深度排查指南
  • 《Keil 开发避坑指南:STM32 头文件加载异常与 RTE 配置问题全解决》
  • 【译】GitHub Copilot for Azure(预览版)已经在 Visual Studio 2022 中推出
  • 动物专家?单词测试!基于 TensorFlow+Tkinter 的动物识别系统与动物识别小游戏
  • claude-sonnet4和GLM-4-5-HTML版本迷宫小游戏
  • honmony 中集成 tuanjie/unity
  • 自由学习记录(95)