Sklearn 机器学习 数值指标 entropy熵函数

💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖

本博客的精华专栏：
【自动化测试】 【测试经验】 【人工智能】 【Python】

Sklearn 机器学习中的数值指标：Entropy 熵函数详解

在构建机器学习模型，特别是决策树（Decision Tree）时，我们经常会遇到一个关键性的数值指标：Entropy 熵。它是信息论中的核心概念，在评估模型中每个划分点的信息增益时起到了重要作用。

本文将带你深入理解熵函数的定义、数学推导、在 Sklearn 中的实际作用，并辅以代码示例帮助你快速掌握它的实际应用。

📘 一、什么是 Entropy（熵）？

在信息论中，熵（Entropy）表示系统的不确定性或信息的混乱程度。由香农（Claude Shannon）提出的熵公式被广泛应用于机器学习的特征划分。

设有一个离散随机变量 $X$，它有 $n$ 个可能的取值 { x 1 , x 2 , . . . , x n } \{x_1, x_2, ..., x_n\} { x1​,x2​,...,xn​}，其概率分布为 $P(x_i)$，则熵定义为：

$$H(X)=-i=1$$