当前位置: 首页 > ds >正文

深度学习的Logits:logist 是什么,上一维度的隐藏向量怎么获取

1. Logits 是什么?

在这里插入图片描述

在深度学习(尤其是语言模型)中,Logits 指模型最后一层输出的 原始分数向量,未经过 Softmax 等概率归一化。它的维度等于词汇表大小(n_vocab),**每个元素对应一个词的“原始打分”,**数值越大表示模型认为该词越可能是正确预测结果。

关键点

  • Logits 不是概率(范围通常是任意实数,如 -10 到 +10);
  • 需通过 Softmax 转换为概率分布(每个元素值在 0~1 之间,总和为 1)。

2. “直接就是词的可信度吗?”

  • Logits 数值越大 → 对应词的 Softmax 概率越高 → 模型认为该词越可信;
  • 但单独看 Logits 无法直接判断可信度(需归一化后对比)。

上一维度的向量怎么获取?outputs.hidden_states

图中“上一维度的向量”通常指模型前一层的输出,例如:

  • 语言模型中,可能是 Transforme
http://www.xdnf.cn/news/16220.html

相关文章:

  • 基于GitHub的Terraform自动化管理最佳实践
  • rust嵌入式开发零基础入门教程(四)
  • 第一章:Go语言基础入门之Hello World与Go程序结构
  • 【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts) 视频教程 - 主页-微博点赞量Top6实现
  • Https以及CA证书
  • 基于php的校园招聘平台
  • SpringCloud seata全局事务
  • Matlab学习笔记:逻辑基础
  • 【数学建模 | Matlab】二维绘图 和 三维绘图
  • CLI 与 IDE 编码代理比较:提升开发效率的两种路径
  • 使用Docker搭建SearXNG搜索引擎
  • 直播一体机技术方案解析:基于RK3588S的硬件架构特性​
  • 地理类专业选择指南:地理科学/测绘工程/遥感科学与技术
  • 基于LNMP分布式个人云存储
  • Docker详解及实战
  • 274款古装人物头像
  • 20250704-基于强化学习在云计算环境中的虚拟机资源调度研究
  • DeepSeek 助力 Vue3 开发:打造丝滑的日历(Calendar),日历_家庭维护示例(CalendarView01_31)
  • 性能测试-jmeter实战5
  • 【无标题】word 中的中文排序
  • 字节 AI 编辑器 Trae 2.0 SOLO 出道! 国际版不充分指南及与国内版的对比
  • 腾讯云推出CodeBuddy:革新AI全栈开发体验
  • Xorg占用显卡内存问题和编译opencv GPU版本
  • docker安装minio及配置禁止列出目录文件
  • 时序数据库主流产品概览
  • 分布式电商系统:缓存策略、负载均衡与容灾方案
  • 一款基于 WPF 开源、功能全面的串口调试工具
  • YOLO12论文阅读:Attention-Centric Real-Time Object Detectors
  • Python关于pandas的基础知识
  • Springboot和postman的使用