当前位置：首页 > ops >正文

论文推荐|迁移学习+多模态特征融合

ops 2025/8/17 20:05:34

来gongzhonghao【图灵学术计算机论文辅导】，快速拿捏更多计算机SCI/CCF发文资讯～

在Cvpr、NeurIPS、AAAI等顶会中，迁移学习+多模态特征融合正以“降成本、提性能、省标注”的绝对优势成为最热赛道。

面对超大模型全量微调天价算力、异构模态对齐难、跨域数据稀缺三大痛点，前沿工作正把“参数即知识”的理念玩到极致，谁能率先解锁跨架构、跨任务、跨模态的统一迁移框架，谁就能在下一轮顶会审稿中秒拿高分。

本文精心整理了 3 篇前沿论文，旨在助力大家洞悉前沿动态、把握研究思路。满满干货，点赞收藏不迷路~

Multimodal Representation Learning by Alternating Unimodal Adaptation

方法：这篇文章针对多模态学习中“某些模态主导、其余被忽视”的顽疾，提出 MLA 框架，把传统联合训练拆成“各模态轮流独立优化”的交替单模态学习；在共享头里用梯度正交化机制防止新模态覆盖旧模态知识；推理阶段再用不确定性加权融合各模态预测，从而兼顾信息平衡与跨模态交互。

创新点：

提出交替单模态学习范式，彻底解除模态间梯度干扰；
设计梯度正交化矩阵，解决共享头在多轮更新中的跨模态遗忘；
构建基于预测不确定性的测试时动态融合，自动权衡缺失或弱模态贡献。

总结：作者将联合训练拆为轮询式单模态优化，借助正交梯度锁定共享头记忆，再以不确定性权重整合推理输出，在五个数据集上显著抑制模态懒惰并刷新完整与缺失模态场景的 SOTA。

MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities

方法：这篇文章打破传统知识蒸馏与共享骨干的局限，提出MergeNet，通过低秩参数重编码与参数适配器在异构模型、任务、模态之间直接迁移知识，并在训练中以周期交替的知识迁移与自学习阶段动态整合源模型参数信息。

创新点：

首次将模型参数视为通用知识载体，实现跨架构、跨任务、跨模态的无缝迁移；
引入低秩参数知识适配器LPKA，通过可学习的行/列注意力融合源与目标模型参数，避免直接覆盖造成知识冲突；
设计周期性知识迁移与自学习交替的训练机制，使目标模型按需提取源模型知识并自我巩固。

总结：作者先用低秩分解把异构模型参数压缩成可交互的低秩矩阵，再用LPKA在行/列维度以注意力方式融合双方知识，生成兼具源模型经验与目标模型结构的混合参数；训练时按固定周期插入知识迁移步骤，其余时间保留自学习更新，确保迁移既及时又不过度干扰；测试阶段移除参数适配器，实现零额外开销的推理，在跨结构、跨模态、跨任务三类挑战性场景上均显著优于现有方法。

纠结选题？导师放养？投稿被拒？对论文有任何问题的同学，欢迎来gongzhonghao【图灵学术计算机论文辅导】，获取顶会顶刊前沿资讯~

BIG-FUSION: Brain-Inspired Global-Local Context Fusion Framework for Multimodal Emotion Recognition in Conversations

方法：这篇文章针对对话多模态情感识别中全局主题与局部说话者依赖难以并行建模且相互干扰的顽疾，提出脑启发的BIG-FUSION框架，用双注意力Transformer同时捕获全局上下文与滑动窗局部信息，并在图对比学习中引入全局-局部双重节点重要性评估，再以脉冲神经元动态增强跨模态交互，实现生物可信的情感识别。