RT-DETR网络结构
1.前言
本章主要来介绍下RT-DETR的网络结构,参考的依旧是ultralytics实现的RT-DETR-L,代码如下:
ultralytics/ultralytics: Ultralytics YOLO 🚀
首先谈谈我对RT-DETR的浅显认识,他不像是YOLOv8这种纯CNN实现的网络,也不像是Vit这种以Transformer实现的网络,他是前一部分使用的是CNN构建Encoder,后一部分使用Transformer来构建Decoder,这样做的好处就是兼备了CNN的速度,以及Transformer对信息的上下文关联能力,做到了Real-Time的一种DetectionTransformer.
下图是论文的插图1,从下图可以看到,以Resnet50为主干网络的RT-DETR的推理速度是可以对标YOLOv8S的,那可见这个DETR是很RT了。