当前位置：首页 > news >正文

逻辑回归参数调优实战指南

news 2025/8/2 21:34:13

逻辑回归的参数调节

参数展示

LogisticRegression(penalty='l2',dual=False,tol=1e4,C=1.0,fit_intercept=True,intercept_scaling=1,class_weight=None,random_state=None,solver='liblinear',max_iter=100,multi_class='ovr',verbose=0,warm_start=False, n_jobs=1)

在前面的学习中，我们参数使用的都是默认参数。所有在面对特殊问题的时候，准确率会高，召回率也不高。所以我们要对某些数据进行微调。

正则化惩罚项

在我们处理数据的时候，有时候会出现各种各样的数据，然后根据数据我们也有各种各样的权重参数，例如下面有两种权重参数

data:1,1,1,1

w1：1，0，0，0

w2：0.25，0.25，0.25，0.25

在两组参数中，我们得到的最终结果都是一样的，那我们知道，第一种肯定不行，过拟合了，不能运用所有数据，但是我们该如何让机器也知道，什么样的权重参数好，什么坏呢？

这里在均方差中引入了正则化惩罚项

正则化惩罚项
λR(W)
- λ: 正则化强度系数（超参数）也就是参数中的C
- R(W): 权重的惩罚函数，包含两种形式：
  - L1 正则化:
    - 产生稀疏权重，自动特征选择
  - L2 正则化:
    - 为求导便利设计的系数（梯度计算时抵消平方项导数产生的2）
    - 控制权重幅度，防止过拟合

其实正则化最重要的功能也就是防止过拟合

交叉验证

对于上面的正则化惩罚项系数，我们该怎么知道哪个阐述最好呢？我们会想到让机器循环找到那个最好的参数。

于是我们想到循环训练，让测试集来测试，选择出一个最好的参数，但是我们注意到，如果我们让测试集参与到了训练中，这样结果会不会也会有过拟合的现象，所有我们无论如何也不能把测试集参与到训练中。

下面我们又想到，可以把训练集中划出一部分来进行验证，是不是也可以。但是我们又想着一直用这一个验证集会不会也会过拟合。

接下来，我们想到，我们可以把训练集切成几份，循环到一个参数时，依次把几份中的一个当作验证集，其余训练。然后去他们的平均值作为我们的最终结果。这样就是我们的交叉验证了！

代码实例

import pandas as pd
from numpy.ma.core import count
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
data=pd.read_csv(r'D:\培训\机器学习\逻辑回归\银行贷款\creditcard.csv')
print(len(data[data['Class'] == 1]))
mod=StandardScaler()
data["Amount"]=mod.fit_transform(data[['Amount']])
X=data.drop(["Time","Class"],axis=1)
y=data["Class"]
train_X,test_X,train_y,test_y=train_test_split(X,y,test_size=0.2,random_state=42)from sklearn.model_selection import cross_val_score
import numpy as np
scores=[]
pe=[0.01,0.1,1,10,100]
for p in pe:lr=LogisticRegression(C=p,penalty ='l2',random_state=42,max_iter=1000)score=cross_val_score(lr,train_X,train_y,cv=8,scoring='recall')scores_mean=sum(score)/len(score)scores.append(scores_mean)print(scores_mean)best_c=pe[np.argmax(scores)]
print('最优系数：',best_c)
model=LogisticRegression(C=best_c,penalty ='l2',random_state=42,max_iter=1000)
model.fit(train_X,train_y)
print(model.score(test_X,test_y))
from sklearn import metrics
print(metrics.classification_report(test_y,model.predict(test_X)))

上面我们取了[0.01,0.1,1,10,100]这几个值来进行测试，然后找出最优的值。下面我们对代码核心部分for循环中的部分进行解读

先建立模型

     lr=LogisticRegression(C=p,penalty ='l2',random_state=42,max_iter=1000)

计算召回率的得分值

  score=cross_val_score(lr,train_X,train_y,cv=8,scoring='recall')

求均值，并把值添加到列表中。

   scores_mean=sum(score)/len(score)scores.append(scores_mean)

找出最大值

best_c=pe[np.argmax(scores)]

根据最优参数进行训练

model=LogisticRegression(C=best_c,penalty ='l2',random_state=42,max_iter=1000)
model.fit(train_X,train_y)
print(model.score(test_X,test_y))
from sklearn import metrics
print(metrics.classification_report(test_y,model.predict(test_X)))

得出结果

下面这个是没有进行交叉验证时候的结果

召回率仅仅增加了百分之二，但是如果对于后期增加百分之二也很重要，这里主要是数据类别的极度不均衡。下面我们对数据进行处理

数据处理

我们数据中的，类别为1的和为0的数据差了几千倍，并且我们比较关注为1的结果，所以我们要对数据进行处理，也就是两条路，一个是增加1的数据量，或者减少0的数据量。

下采样

这个是训练集中0的数据量。我们想先对数据集进行划分，测试集不处理，训练集进行处理，先找出少的那一类的数据条数，然后对数据多的那一类进行抽样，抽出相同数量的数据，然后针对这些进行训练。

代码部分

train_data,test_data=train_test_split(data,test_size=0.2,random_state=42)pe=train_data[train_data['Class'] == 1]
ne=train_data[train_data['Class'] == 0]d1 = ne.sample(len(pe))train_data = pd.concat([d1,pe])train_X=train_data.drop(["Time","Class"],axis=1)
train_y=train_data["Class"]
test_X=test_data.drop(["Time","Class"],axis=1)
test_y=test_data["Class"]

其余没修改，就这一部分修改了

上面代码中，我们先对训练集和测试集进行分开，然后对训练集中标签为0的标签中取样出标签0数量的数据，然后进行连接，下面就正常训练了，不够这样可能会让数据量减少许多

过采样

这个是让数据量少的那一类增加，不够也不是随便增加，其中采用了SMOTE算法，如下：

代码部分

from imblearn.over_sampling import SMOTE#imblearn这个库里面调用，
oversampler =SMOTE(random_state=0)#保证数据拟合效果，随机种子
train_X, train_y = oversampler.fit_resample(train_X,train_y)#人工拟合数据

主要就是导入库，这个库直接pip下载就行，然后直接fit就行，这里直接导入数据，会自动识别那个多哪个少，然后进行处理。

评价方法

指标	公式	适用场景	特点
准确率		类别平衡数据	简单直观，但类别不平衡时失效
精确率		关注假阳性成本（如垃圾邮件检测）	强调预测正例的准确性
召回率		关注漏检成本（如疾病诊断）	强调捕捉正例的能力
F1分数		平衡精确率与召回率	综合性能指标，适合一般场景
ROC-AUC	ROC曲线下面积	类别不平衡或需调整阈值时	反映模型整体排序能力，与阈值无关
混淆矩阵	四格表（TP, FP, FN, TN）	分析错误类型分布	可视化分类细节，衍生多指标