当前位置： 首页 > news >正文

4/24杂想

news 2025/7/2 8:55:53

1.BN

激活层前，加快模型训练时的收敛速度，避免梯度爆炸or梯度消失，起到一定的正则化作用，几乎代替了Dropout

批量标准化：标准化后数据服从均值为0，方差为1，之后yi = gamma*xi head+beta

每层的输入分布稳定

【基础算法】六问透彻理解BN(Batch Normalization） - 知乎

预防过拟合：

dropout【训练随机失活，推理不会】，BN，正则化【加在损失函数】

http://www.xdnf.cn/news/147889.html

相关文章：

  • 慧星云荣登杭州AI卧龙图
  • windows安装jax和jaxlib的教程（cuda）成功安装
  • C++进阶----多态
  • 这些项目可以在以后年度结转扣除！
  • 从 0 开始认识 WebSocket：前端实时通信的利器！
  • 腾讯云系统盘占满
  • Node.js 应用场景
  • AIGC实战之如何构建出更好的大模型RAG系统
  • B站C语言课程笔记2
  • SD-WAN：企业网络架构的智能化革命
  • 蓝牙GATT协议
  • OAuth2AuthorizationEndpointFilter类介绍、应用场景和示例代码
  • 【北京迅为】iTOP-4412精英版使用手册-第二章 开发板初体验
  • 非序列实现MEMS聚焦功能
  • 【软件设计师】模拟题三
  • 如何将 Apache Hudi 接入 Ambari？完整部署与验证指南
  • 《深入理解计算机系统》阅读笔记之第十一章 网络编程
  • 100个用户的聊天系统：轮询 vs WebSocket 综合对比
  • Android项目升级插件到kotlin 2.1.0后混淆网络请求异常
  • “IAmMusicFont.com“：将音乐变成视觉
  • 内联函数（c++）
  • 信奥赛之c++基础（计算机存储+数据类型转换）
  • Android中的多线程
  • java.lang.ArrayIndexOutOfBoundsException: 11
  • BFD会话
  • 【蓝桥杯】P12165 [蓝桥杯 2025 省 C/Java A] 最短距离
  • 【2025 最新前沿 MCP 教程 01】模型上下文协议：AI 领域的 USB-C
  • 数据库证书可以选OCP认证吗？
  • Redis的主从模式和哨兵模式
  • 文档驱动：“提纲挈领”视角下的项目管理中枢构建