KL散度（Kullback-Leibler Divergence）：概率分布差异的量化利器

目录

• • 1. 什么是KL散度？
  • • 关键特点：
  • 2. KL散度的数学公式
  • • 离散分布的KL散度公式：
    • 连续分布的KL散度公式：
  • 3. KL散度的计算示例
  • • 示例1：离散分布
    • 示例2：连续分布（高斯分布）
  • 4. KL散度的核心性质
  • • 1. 非对称性
    • 2. 非负性
    • 3. 与熵的关系
  • 5. KL散度与相关性的关系
  • • 1. KL散度 ≠ 相关性
    • 2. 间接关联的可能
    • 3. 实际案例
  • 6. KL散度的应用场景
  • • 1. 机器学习
    • 2. 数据压缩
    • 3. 信息检索
    • 4. 强化学习
  • 7. 总结
  • • 总结