Day11 训练

---

今天我们要开始超参数调整的专题了，回归下之前课程说的几个核心知识点
1.模型 = 算法 + 实例化设置的外参（超参数）+训练得到的内参
2.只要调参就需要考2次
所以如果不做交叉验证，就需要划分验证集和测试集，但是很多调参方法中都默认有交叉验证，所以实际中可以省去划分验证集和测试集的步骤。
每个模型都有自己的超参数，每个超参数都有一定的意义。但是如果为了精度和科研 我们完全无需学习。只需要用好调参工具即可。

1.常规预处理部分

import pandas as pd
import numpy as np
import numpy as np
import matplotlib.pyplot as plt
import seaborn as snsplt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
data = pd.read_csv('data.csv')discrete_features = data.select_dtypes(include=['object']).columns.tolist()
home_ownership_mapping = {'Own Home': 1,'Rent': 2,'Have Mortgage': 3,'Home Mortgage': 4
}
data['Home Ownership'] = data['Home Ownership'].map(home_ownership_mapping)years_in_job_mapping = {'< 1 year': 1,'1 year': 2,'2 years': 3,'3 years': 4,'4 years': 5,'5 years': 6,'6 years': 7,'7 years': 8,'8 years': 9,'9 years': 10,'10+ years': 11
}
data['Years in current job'] = data['Years in current job'].map(years_in_job_mapping)data = pd.get_dummies(data,columns=['Purpose'])
data2 = pd.read_csv("data.csv") # 重新读取数据，用来做列名对比
list_final = [] # 新建一个空列表，用于存放独热编码后新增的特征名
for i in data.columns:if i not in data2.columns:list_final.append(i) # 这里打印出来的就是独热编码后的特征名
for i in list_final:data[i] = data[i].astype(int) # 这里的i就是独热编码后的特征名term_mapping = {'Short Term': 1,'Long Term': 2
}
data['Term'] = data['Term'].map(term_mapping)
data.rename(columns={'Term':'Long Term'}, inplace=True) # 重命名列名
continuous_features = data.select_dtypes(include=['int64','float64']).columns.tolist()# 连续特征用中位数补全
for feature in continuous_features:     mode_value = data[feature].mode()[0]            #获取该列的众数。data[feature].fillna(mode_value, inplace=True)          

2.切分数据集

使用train_test_split切分数据，使用drop切分标签

from sklearn.model_selection import train_test_split
X = data.drop(['Credit Default'], axis=1)
y = data['Credit Default']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
X_val,X_test,y_val,y_test = train_test_split(X_test,y_test,test_size=0.5,random_state=42)

简单的调参方法

随机搜索 ： 在参数空间中随机选择参数组合，然后使用交叉验证来评估每个组合的性能：
网格搜索
贝叶斯优化
基线模型（基准模型）: 首先运行一个使用默认参数的 RandomForestClassifier，记录其性能作为比较的基准。
网格搜索 (GridSearchCV):
需要定义参数的网格（param_grid），包含所有你想要尝试的特定值的列表。它会尝试网格中所有可能的参数组合。
缺点: 计算成本非常高，参数和值的数量稍多，组合数就会呈指数级增长（维度灾难）。因此，网格通常设置得比较小或集中在认为最优参数可能存在的区域（可能基于随机搜索的初步结果）。
随机搜索 (RandomizedSearchCV):
需要定义参数的分布，而不是固定的列表。这是它与网格搜索的主要区别，它不会尝试所有组合，而是在指定次数内随机采样。通常，用相对较少的迭代次数（如 50-100）就能找到相当好的参数。
对于给定的计算预算，随机搜索通常比网格搜索更有效，尤其是在高维参数空间中。
贝叶斯优化 (BayesSearchCV from skopt):
需要定义参数的搜索空间，与随机搜索类似，当搜索空间非常大时，它通常比网格搜索和随机搜索更有效。
核心优势: 它不是随机选择下一个点，而是根据先前评估的结果建立一个概率模型（通常是高斯过程），预测哪些参数组合可能产生更好的结果，并据此选择下一个评估点。这使得它在寻找最优解方面通常比随机搜索更高效（用更少的迭代次数达到相似或更好的性能），特别是当模型训练（单次评估）非常耗时的时候。
正常情况下，计算资源够用网格，计算资源不够用贝叶斯优化。随机搜索没什么人用

3.默认参数训练

使用默认参数，直接训练

print("--- 1. 默认参数随机森林 (训练集 -> 测试集) ---")
import time # 这里介绍一个新的库，time库，主要用于时间相关的操作，因为调参需要很长时间，记录下会帮助后人知道大概的时长
start_time = time.time() # 记录开始时间
rf_model = RandomForestClassifier(random_state=42)
rf_model.fit(X_train, y_train) # 在训练集上训练
rf_pred = rf_model.predict(X_test) # 在测试集上预测
end_time = time.time() # 记录结束时间print(f"训练与预测耗时: {end_time - start_time:.4f} 秒")
print("\n默认随机森林 在测试集上的分类报告：")
print(classification_report(y_test, rf_pred))
print("默认随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, rf_pred))

4.网格搜索优化随机森林

• 设置网格搜索的参数，并且将GridSearchCV初始化，设置树的数量选项，树的最大深度选项，节点分裂最小样本数，叶节点最小样本数
• 记录开始时间 start_time
• 在训练集上执行网格搜索 grid_search.fit(X_train, y_train)
• 记录结束时间并计算耗时
• 输出最佳参数组合 grid_search.best_params_
  模型评估 ：
• 使用最佳模型预测测试集 best_model.predict(X_test)
• 输出分类报告(精确率/召回率/F1值)
• 输出混淆矩阵(TP/FP/FN/TN)

重点在于：

• 通过系统性的参数组合搜索提高模型性能
• 采用交叉验证避免过拟合
• 自动选择最优参数组合
• 完整评估模型在测试集的表现

print("2.网格搜索优化随机森林")
from sklearn.model_selection import GridSearchCV
param_grid = {'n_estimators': [50, 100, 200],'max_depth': [None, 10, 20, 30],'min_samples_split': [2, 5, 10],'min_samples_leaf': [1, 2, 4]
}
grid_search = GridSearchCV(estimator = RandomForestClassifier(random_state=42), param_grid=param_grid,cv=5, scoring='accuracy',n_jobs=-1)
start_time = time.time()
grid_search.fit(X_train, y_train)
end_time = time.time()
print(f"网格搜索耗时：{end_time - start_time:.2f}秒")
print("最佳参数：", grid_search.best_params_)
best_model = grid_search.best_estimator_ # 获取最佳模型
best_pred = best_model.predict(X_test) # 在测试集上进行预测print("\n网格搜索优化后的随机森林 在测试集上的分类报告：")
print(classification_report(y_test, best_pred))
print("网格搜索优化后的随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, best_pred))

5.采用贝叶斯优化随机森林

首先是贝叶斯优化设置，
设置树的数量选项，树的最大深度选项，节点分裂最小样本数，叶节点最小样本数

• 记录开始时间 start_time

• 在训练集上执行贝叶斯优化 bayes_search.fit(X_train, y_train)

• 记录结束时间并计算耗时

• 输出最佳参数组合 bayes_search.best_params_

• 使用最佳模型预测测试集 best_model.predict(X_test)

• 输出分类报告(精确率/召回率/F1值)

• 输出混淆矩阵(TP/FP/FN/TN)
  关键特点：

• 相比网格搜索更高效的参数优化方法

• 使用Integer参数空间定义范围

• 通过概率模型指导参数搜索方向

• 适合高维参数空间的优化

print("2.贝叶斯优化随机森林")
from skopt import BayesSearchCV
from skopt.space import Integer
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix
import timesearch_space = {'n_estimators': Integer(50, 200),'max_depth': Integer(10, 30),'min_samples_split': Integer(2, 10),'min_samples_leaf': Integer(1, 4)
}
bayes_search = BayesSearchCV(estimator=RandomForestClassifier(random_state=42), search_spaces=search_space, n_iter=50, cv=5, scoring='accuracy')
end_time = time.time() 
bayes_search.fit(X_train, y_train)
end_time = time.time()
print("贝叶斯优化随机森林训练时间：", end_time - start_time, "秒")
print("最佳参数: ", bayes_search.best_params_)
best_model = bayes_search.best_estimator_
best_pred = best_model.predict(X_test)print("\n贝叶斯优化后的随机森林 在测试集上的分类报告：")
print(classification_report(y_test, best_pred))
print("贝叶斯优化后的随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, best_pred))

@浙大疏锦行