当前位置: 首页 > news >正文

服务器-客户端下kafka的消息处理流程

典型的“异步请求-响应架构”,用 Kafka 做消息传递


1️⃣ 系统整体架构

组件
  • 客户端(Client)
    发送请求,接收回调。

  • 服务器(Server)
    负责核心业务逻辑 + Kafka 消息中转。

  • Kafka 消息队列
    用于请求与响应的解耦与异步处理。

  • 数据库
    可能用来存储结果或日志。


2️⃣ 数据流向与过程

(A)客户端发起请求:
  • 客户端执行某个操作(例如:下单、计算、任务提交等)
  • 客户端通过某种通信方式(如 HTTP、WebSocket、RPC)向服务器发送请求。
(B)服务器收到请求:
  • 服务器接收到客户端的请求后:

    1. 生成一个请求 ID(或 Correlation ID)
    2. 将请求封装成消息,发送到 Kafka 的某个 请求主题(Request Topic)
(C)后台服务处理请求:
  • 服务器后台的某个消费服务订阅了 Kafka 的 Request Topic;
  • 它取出消息进行实际业务处理(计算、下单、写库等)。
(D)处理完成后返回结果:
  • 处理完成后,将结果封装为新的 Kafka 消息,放入 响应主题(Response Topic)
  • 同时携带之前的请求 ID(便于对应请求与响应)。
(E)服务器推送结果给客户端:
  • 服务器订阅 Kafka 的 Response Topic;
  • 取出处理结果,找到对应的客户端;
  • 执行客户端注册的 callback(可能是 WebSocket 推送、长轮询、通知 API 等)。
(F)客户端接收回调并处理结果

3️⃣ 简化的时序图

Client -----> Server -----> Kafka(Request Topic)↓Worker / Processor↓Kafka(Response Topic)↓Server -----> Client callback

4️⃣ 技术栈可能包含

模块技术
KafkaApache Kafka
ServerJava、Python、Node.js、Go 等
ClientWeb、App、桌面应用等
CallbackWebSocket、HTTP callback、MQTT等
消息格式JSON、Avro、Protobuf等

5️⃣ 这种架构的优点

  • 异步解耦,系统高并发。
  • 服务器压力小,不阻塞。
  • Kafka 保证消息持久、可追溯。
  • 支持失败重试、流量削峰、顺序性控制等。
http://www.xdnf.cn/news/1001917.html

相关文章:

  • Vue3+PDF.js 实现高性能 PDF 阅读器开发实战
  • C# 动态管理控件和事件,批量查询管理同类控件
  • JavaWeb期末速成 JSP
  • 浅谈DaemonSet
  • PRIMES“中国校准实验室”正式运营,携手东隆科技共筑精准测量新标准
  • 通过同步压缩小波变换实现信号的分解和重构
  • 概率论几大分布的由来
  • 基于STM32汽车温度空调控制系统
  • Unity-通过Transform类学习迭代器模式
  • 数据集-目标检测系列- 孔雀 数据集 peacock >> DataBall
  • FFmpeg 压缩视频文件
  • 力扣HOT100之技巧:136. 只出现一次的数字
  • C#调用C++ 结构体方法
  • GitHub 上 PAT 和 SSH 的 7 个主要区别:您应该选择哪一个?
  • Transformer 与 XGBoost 协同优化的时间序列建模
  • LSTM助力迁移学习!深度学习架构性能提升,准确率达到99.91%!
  • TCN+Transformer+SE注意力机制多分类模型 + SHAP特征重要性分析,pytorch框架
  • 用于在多个远程计算机上求解的 Ansoft RSM 设置 - Windows
  • 实战案例-FPGA的JESD204B IP核配置详解
  • 【springboot组件开发】三方中间件自定义自动装载(rabbitmq/rocketmq/cmq)
  • 记录一次jenkins slave因为本地安装多个java版本导致的问题
  • stm32f103 标准库移植rt-thread nano
  • 学习笔记整理之状态图与状态图搜索
  • Windows 提权工具(“Potato“ 系列)用法指南
  • 火线、零线、地线 基础知识
  • 实现图片懒加载
  • 大话软工笔记—架构的概要设计
  • 【AS32系列MCU调试教程】基础配置:Eclipse项目与工具链的优化
  • SD-WAN优化云应用与多云架构访问的关键策略
  • 408考研逐题详解:2009年第39题