大模型都有哪些超参数

大模型的超参数是影响其训练效果、性能和泛化能力的关键设置，可分为以下几大类别并结合实际应用进行详细说明：

一、训练过程相关超参数

1. 学习率（Learning Rate）
   • 作用：控制参数更新的步长，直接影响收敛速度和稳定性。过高会导致震荡或过拟合，过低则收敛缓慢。
   • 调整策略：

• 初始值建议在 $10^{-4}$ 到 1 0 − 2 10^{-2}