scikit-learn/sklearn学习|多任务套索回归MultiTaskLasso解读

【1】引言

前序学习进程中，对用scikit-learn表达线性回归、岭回归和套索回归进行了初步解读。
这些回归本质上都是线性回归，能够将因变量$y$表达成由自变量$x$、线性系数矩阵$w$和截距$b$组成线性函数式。
线性回归获得函数式：
$$y=\sum _{i=1}^n{w}_i\cdot x_i+b=w^{T}x+b$$
对应的均方误差函数计算式为：
$$L(w,b)=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2=\sum _{i=1}^n(y_i-(w^T{x}_i+b){)}^2$$在这里，$y$是第i个样本的真实值，$\hat{y}$是第i个样本的预测值。
普通线性回归的均方误差将真实值和预测值作差后求平方和即可。
实际上很多时候数据之间不一定是理想化的线性关系，所以需要对线性关系式进行修正，修正项位于均方误差计算函数中，这个时候就衍生出其他回归方法，至少包括岭回归、套索回归等。
岭回归相对于线性回归，均方误差的计算式子增加了对参数权重平方和的计算，称之为L2正则化惩罚项：
$$L(w,b)=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2+\alpha \sum _{j=1}^m{w}_j^2=\sum _{i=1}^n(y_i-(w^T{x}_i+b){)}^2+\alpha \sum _{i=1}^m{w}_i^2$$在这里，$y$是第i个样本的真实值，$\hat{y}$是第i个样本的预测值。
新增加的L2正则化惩罚项为$\alpha {\sum }_{i=1}^m{w}_i^2，其中\alpha \ge 0$

既然可以有L2正则化，显然也可以有L1正则化，这就是Lasso套索回归。此时的均方误差公式为：
$$L(w,b)=\frac{1}{2n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2+\alpha \sum _{j=1}^n\left|w_j\right|=\frac{1}{2n}\sum _{i=1}^n(y_i-(w^T{x}_i+b){)}^2+\alpha \sum _{i=1}^n\left|w_i\right|$$
新增加的L1正则化惩罚项为$\alpha {\sum }_{i=1}^m\left|w_i\right|,\alpha \ge 0$

【2】多任务套索回归MultiTaskLasso

套索回归Lasso会让部分线性系数直接精确约束至0，即自动剔除不重要的特征，是的模型最终只保留少数非零系数特征，这个特性让Lasso非常适合高维数据的降维和变量筛选.
如果进一步修改套索回归的均方误差函数式：
$$\begin{gathered} L(w,b)=\frac{1}{2n}\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2+\alpha \sum _{i=1}^n\sqrt{\sum _{j=1}^m{w}_{i,j}^2}= \\ \sum _{i=1}^n(y_i-(w^T{x}_i+b){)}^2+\alpha \sum _{i=1}^n\sqrt{\sum _{j=1}^m{w}_{i,j}^2} \end{gathered}$$

这就是多任务套索回归MultiTaskLasso的均方误差计算式，同时使用了$L1,L2$正则化惩罚项。
$\alpha {\sum }_{i=1}^n\sqrt{{\sum }_{j=1}^m{w}_{i,j}^2}$包括两部分：
第一部分$\alpha \ge 0$一如既往代表惩罚强度；
第二部分${\sum }_{i=1}^n\sqrt{{\sum }_{j=1}^m{w}_{i,j}^2}$先对每一行计算线性系数的平方和再开平方，然后对每一行特征获得的平方根求和。计算平方和是$L2$正则化计算，开平方根是$L1$正则化计算，所以多任务套索回归MultiTaskLasso的均方误差计算式同时使用了$L1,L2$正则化惩罚项。

【3】多任务套索回归MultiTaskLasso的特点

多任务套索回归MultiTaskLasso的特点会让部分线性系数直接精确约束至0，并且是整行都是0，也就是某个特征要么对所有特征有用，要么对所有特征无用；
这种某个特征在所有任务里面都有用的情况，使得不同任务之间实现了系数共享；
通过混合$L1,L2$正则化范数实现行稀疏性，强制特征在所有任务中被统一选择或排除。
这些特点使得多任务套索回归MultiTaskLasso更开始用于多个高度相关的任务，并且在某些特征具有突出重要性时，使得该方法具有天然适配性。