当前位置： 首页 > backend >正文

【图问答】DeepSeek-VL 论文阅读笔记

backend 2025/5/18 15:14:19

《DeepSeek-VL: Towards Real-World Vision-Language Understanding》

1. 摘要/引言

基于图片问答（Visual Question Answering，VQA）的任务

2. 模型结构 和 三段式训练

1）使用 SigLIP 和 SAM 作为混合的vision encoder，也就用的 对比学习 和Segment Anything（有监督学习）的混合vision encoder

2）Vision-Language Adaptor 负责将动态分块后的图像特征转换为语言模型可处理的离散的token-ids
-

http://www.xdnf.cn/news/882.html

相关文章：

  • 可编辑23页PPT | 数据中台建设四步方法论：“采、存、通、用”
  • AI之pdf解析：Tesseract、PaddleOCR、RapidPaddle（可能为 RapidOCR）和 plumberpdf 的对比分析及使用建议
  • WPF的发展历程
  • Go语言中的Context
  • Java中如何创建操作线程
  • Cad c# 射线法判断点在多边形内外
  • JVM内存模型与垃圾回收
  • 蚂蚁全媒体总编刘鑫炜再添新职，出任共工新闻社新媒体研究院院长
  • 《FDTD Solutions仿真全面教程：超构表面与光束操控的前沿探索》
  • vue项目通过GetCapabilities获取wms服务元数据信息并在openlayers进行叠加显示
  • prometheus-operator部署服务监控其他节点mysql服务
  • 重构・协同・共生：传统代理渠道数字化融合全链路解决方案
  • 如何远程访问家中服务器-FRP内网穿透详细
  • 获取电脑信息（登录电脑的进程、C盘文件信息、浏览器信息、IP）
  • Windows网络及服务：制作系统盘
  • idea30天使用无限使用
  • uni-app 状态管理深度解析：Vuex 与全局方案实战指南
  • Android audio_policy_configuration.xml加载流程
  • 云原生--基础篇-2--云计算概述（云计算是云原生的基础，IaaS、PaaS和SaaS服务模型）
  • 在 UE5 编辑器中，由于游戏设置 -＞ EV100 设置，点击播放前后的光照不同。如何保持点击播放前后的光照一致？
  • 如何在腾讯云Ubuntu服务器上部署Node.js项目
  • SVM（支持向量机）
  • Ray Tracing（光线追踪）与 Ray Casting（光线投射）
  • 【pytorch】torch.nn.Unfold操作
  • PyTorch实现糖尿病预测的CNN模型：从数据加载到模型部署全解析【N折交叉验证、文末免费下载】
  • Android端使用无障碍服务实现远程、自动刷短视频
  • 流量抓取工具(wireshark)
  • 大文件分片上传进阶版（新增md5校验、上传进度展示、并行控制，智能分片、加密上传、断点续传、自动重试），实现四位一体的网络感知型大文件传输系统‌
  • 二叉树操作与遍历实现
  • 详细介绍：MCP（大模型上下文协议）的架构与组件，以及MCP的开发实践