当前位置: 首页 > news >正文

凸问题-非凸问题-非凸模型

  • 凸问题:目标函数(如损失函数)是 “凸函数” 的优化问题,凸函数特征是局部最优解 = 全局最优解,训练更易收敛(类比碗状函数,小球滚动必落底部 );

  • 非凸问题(如深度神经网络)则有大量局部最优,训练难度更高。

  • 非凸模型:深度神经网络(如 Transformer、ResNet )的损失函数是 “非凸” 的,存在大量局部最优(类比山地地形,小球可能卡在山坡凹处,而非全局最低山谷 );研究非凸模型的收敛性,是 FL 落地复杂任务(如大模型训练)的关键。

  • 数据异构性(非 IID,Independent and Identically Distributed ):客户端数据分布不同(如 A 医院数据多是老年病,B 医院多是儿科病 );

  • IID 指数据同分布(理想假设,实际 FL 中难满足 ),

  • 非 IID 会导致 “客户端漂移”(本地训练后参数过度适配本地数据,全局聚合后模型效果差 )。

http://www.xdnf.cn/news/1333333.html

相关文章:

  • JavaScript 性能优化实战(易懂版)
  • 【电气工程学习】
  • (nice!!!)(LeetCode 每日一题) 1277. 统计全为 1 的正方形子矩阵 (动态规划)
  • Qt5.9.9 + Windows API 开发系统监控工具 - 教学级项目实战
  • 项目各功能介绍
  • linux下MySQL安装与卸载
  • Tomcat 性能优化终极指南
  • 餐饮灶头:后厨效率与菜品稳定的核心载体
  • Linux《进程间通信(下)》
  • 海量数据测试指南与实战
  • 【PostgreSQL内核学习:WindowAgg 节点对 Tuplestore 的复用机制】
  • 超大型公共场所的智慧守护者——人脸动态识别与管理系统
  • Temu美国站大规模扫号封店:虚假本土店遭批量封禁,如何规避?
  • 心路历程-了解网络相关知识
  • 【C2000常见问题】当板子处于强电噪声环境下,或带重载时C2000芯片的PWM发波会出现异常,导致炸管。
  • Vue2封装Axios
  • 8.20网络编程——sqlite3数据库
  • LeetCode 刷题【47. 全排列 II】
  • 【Linux系统】匿名管道以及进程池的简单实现
  • 在 React 中,​父子组件之间的通信(传参和传方法)
  • 大语言模型研究进展
  • Elasticsearch 写入全链路:从单机到集群
  • sfc_os!SfcValidateCatalogs函数分析之syssetup.inf中的[ProductCatalogsToInstall]
  • ansible playbook 实战案例roles | 实现基于 IHS 的 AWStats 访问监控系统
  • 第R6周:LSTM实现糖尿病探索与预测
  • [特殊字符] 小豆包 API 聚合平台:让 AI 接入更简单、更高效
  • 【数据结构之二叉树】
  • 【0基础PS】图片格式
  • Java常用类:编程世界的瑞士军刀
  • Web网站的运行原理1