当前位置: 首页 > web >正文

delta 流响应

文章目录

  • 前言
    • ✅ 1. 什么是 delta 流响应?
    • ✅ 2. 用于流式对话的好处
    • ✅ 3. 和 SSE(Server-Sent Events)的关系
    • ✅ 4. 总结


前言

在调用类 ChatGPT 或 OpenRouter 这类大模型 API 时,**“delta 流响应”**是一种 逐步返回内容的方式,用于实现 实时输出流式生成文字效果


✅ 1. 什么是 delta 流响应?

“delta” 指的是 “差值” 或 “增量”,代表本次响应新增的 token 内容

例如,模型输出一句话 你好,世界!,它不会一次返回全部,而是返回一个个 delta

{ "choices": [ { "delta": { "content": "你" } } ] }
{ "choices": [ { "delta": { "content": "好" } } ] }
{ "choices": [ { "delta": { "content": "," } } ] }
{ "choices": [ { "delta": { "content": "世" } } ] }
{ "choices": [ { "delta": { "content": "界" } } ] }
{ "choices": [ { "delta": { "content": "!" } } ] }
{ "choices": [ { "delta": {} } ], "finish_reason": "stop" }

你需要前端代码把这些增量的内容拼接成完整文本。


✅ 2. 用于流式对话的好处

  • 流畅:用户能边看边读,体验和人类打字一样
  • 响应快:不需要等模型生成完全部内容再返回

✅ 3. 和 SSE(Server-Sent Events)的关系

这种 delta 增量内容,通常是通过 SSE 协议流式发送的,也就是你前面实现的这个:

if (jsonData.choices?.[0]?.delta?.content) {assistantMessage.content += jsonData.choices[0].delta.content;
}

你正在处理的就是 delta 流响应!


✅ 4. 总结

项目内容
delta 响应一种模型增量返回内容的格式
content 字段本次新增的文本 token
SSE一种用于推送 delta 的传输方式
作用实现流式输出(比如 ChatGPT 打字效果)

http://www.xdnf.cn/news/9539.html

相关文章:

  • 华为手机用的时间长了,提示手机电池性能下降,需要去换电池吗?平时要怎么用能让电池寿命长久一些?
  • Android Compose开发架构选择指南:单Activity vs 多Activity
  • Nginx代理SSL 到Spring boot
  • 多相电机驱动控制学习(2)——基于双dq的双三相PMSM学习(考虑互感/交叉耦合)
  • Chroma 向量数据库使用示例
  • UE5 Niagara 如何让四元数进行旋转
  • 单片机 串口发送和接收
  • ⚡ Linux 系统安装与配置 Vim 编辑器(包括 Vim 插件管理器)
  • RTOS 完整概述与实战应用:从基础原理到产业实情
  • 论文略读:Deep reinforcement learning for community architectural layout generation
  • Dolphinscheduler-3.2.0分布式集群详细部署
  • 时间的基本概念与相关技术二
  • 如何将多张图组合到一张图里同时保留高的分辨率(用PPT+AdobeAcrobat)
  • 用 Appuploader,让 iOS 上架流程真正“可交接、可记录、可复用”:我们是这样实现的
  • 能按需拆分 PDF 为多个文档的工具
  • Linux C++ 开发基础命令指南
  • 亚远景-ISO 21434标准:汽车网络安全实践的落地指南
  • 基于深度学习的工业OCR实践:仪器仪表数字识别技术详解
  • qt之开发大恒usb3.0相机三
  • 基于python,html,flask,echart,ids/ips,VMware,mysql,在线sdn防御ddos系统
  • SCDN如何同时保障网站加速与DDoS防御?
  • 精益数据分析(92/126):指标基准化——如何判断你的数据表现是否足够优秀
  • Vue Router 钩子函数与组件生命周期执行顺序详解
  • Ubuntu 系统grub日志级别设置
  • C#与 Prism 框架:构建模块化的 WPF 应用程序
  • 毫秒级数据采集的极致优化:如何用C#实现高性能、无冗余的实时文件写入?
  • 文档整合自动化
  • ASP.NET MVC添加新控制器示例
  • Android 缓存应用冻结器(Cached Apps Freezer)
  • 交换机环路故障分析以及解决方案