多任务学习#

特征变换途径#

线性变换

多任务特征学习 (MTFL)

用正交变换 (旋转、反射，长度角度均不变) 把原始特征映射进共享特征空间 (硬共享)．这样一来，多任务的输入空间不再是原来的 $m$ 个特征空间 $\mathbb R_i^d$，转变成 $1$ 个共享特征空间 $\mathbb R^d$．

$$\begin{aligned} \min_{\mathbf A, \mathbf U, \mathbf b} & \:\: \sum_{i=1}^{m} \dfrac{1}{n_i} \sum_{j=1}^{n_i} \mathcal L((\mathbf a^i)^\top \mathbf U^\top \mathbf x_j^i + b_i, y_j^i) + \lambda \Vert \mathbf A \Vert_{2,1}^2 \\ \text{s.t.} & \:\: \mathbf U \mathbf U^\top = \mathbf I \end{aligned}$$

其中 $\mathbf U^\top$ 对 $m$ 个任务共享，$\mathbf a^i$ 和 $b_i$ 为 $\mathcal T_i$ 私有．

$$\begin{aligned} &\mathbb R_i^d \rightarrow \mathbb R^d \rightarrow \mathbb R_i \\ &\mathbf x_j^i \mapsto \mathbf U^\top \mathbf x_j^i \mapsto (\mathbf a^i)^\top \mathbf U^\top \mathbf x_j^i + b_i \end{aligned}$$

我们不会让所有任务盲目共享所有特征，而是仅共享某些特征的子集，以避免无关特征为训练带来的干扰，实现共享特征的选择．这样的特征选择该如何实现呢？「选择」步骤是在共享层后发生的，因此我们可以对 $\mathbf A$ 下手，对其进行约束．如何约束？注意到整个过程是优化过程，也就是最小化损失函数，于是我们可以给损失函数添加正则项，利用「最小化过程」为 $\mathbf A$ 的约束提供源动力．

$\ell_{2,1}$ 正则化

$$\begin{aligned} &\mathbf{A} = [\mathbf{a}^1, \mathbf{a}^2, ..., \mathbf{a}^m] \in \mathbb{R}^{d \times m} \\ &\Vert \mathbf A \Vert_{2,1}^2 = (\Vert \mathbf A_{1,:} \Vert_2 + \Vert \mathbf A_{2,:} \Vert_2 + \cdots + \Vert \mathbf A_{d,:} \Vert_2)^2 \end{aligned}$$

优化过程中，外层的 $\ell_1$ 正则化会倾向于让每行的 $\ell_2$ 范数贴近坐标轴，会尽量让 $\mathbf A$ 的每一行极化：要么使其贴近 $\mathbf 0$，要么不动．这意味着该行对应的特征被所有任务弃用/选择，这样就实现了特征选择．

这里用正则化约束实现无关特征的弃用，有个重要前提：无关特征被映射到共享特征空间后依旧无关，否则我们只能弃用共享特征空间的无关特征，而无法关联到原始特征空间．这个前提由 $\mathbf U$ 的正交性保证．

可以证明，上面的优化问题有个等价形式：

$$\begin{aligned} \min_{\mathbf W, \mathbf D, \mathbf b} & \:\: L(\mathbf W, \mathbf b) + \lambda \,\text{tr}(\mathbf W^\top \mathbf D^{-1} \mathbf W) \\ \text{s.t.} & \:\: \mathbf D \succeq \mathbf 0, \:\text{tr}(\mathbf D) \le 1 \end{aligned}$$

其中 $L(\mathbf W, \mathbf b) = \sum_{i=1}^m \frac{1}{n_i} \sum_{j=1}^{n_i} \mathcal L((\mathbf w^i)^\top \mathbf x_j^i + b_i)$，$\mathbf w^i = \mathbf U \mathbf a^i$ 是 $\mathcal T_i$ 的参数．正则项实际上是所有 $\mathbf w^i$ 的马氏距离的平方和，鼓励 $\mathbf W$ 低秩，这与所有任务共享一个低维特征子空间是一致的．当 $\mathbf W$ 固定时，$\mathbf D$ 有解析解

$$\mathbf D = \frac{\sqrt{\mathbf W^\top \mathbf W}}{\text{tr}\sqrt{\mathbf W^\top \mathbf W}}$$

与 MTFL 类似，多任务稀疏编码 (Multi-task Sparse Coding) 则通过字典 $\mathbf U \in \mathbb R^{d \times D}$ 将特征空间升维至 $D > d$，然后用稀疏的系数向量 $\mathbf a^i$ 进行特征选择

相比 MTFL，稀疏编码中的每个任务都从这个共享字典中独立地挑选原子 (字典的列)，而不是用行稀疏性鼓励在顶点处取得．

非线性变换

我们往往用大量共享层来学习共同特征表示，而且共享层不局限于全连接，还可以是卷积层、池化层等 (CV 里的共享卷积、NLP 里的共享 BERT 编码器)．

对抗学习共同特征

使用三个网络进行极大极小博弈

$$\min_{\theta_f, \theta_c} \max_{\theta_d} \sum_{i=1}^m \frac{1}{n_i} \sum_{j=1}^{n_i} \Big( \mathcal L_{\text{task}}(N_{\theta_c}(N_{\theta_f}(\mathbf x_j^i)), y_j^i) - \mathcal L_{\text{ce}} (N_{\theta_d}(N_{\theta_f}(\mathbf x_j^i)), d_j^i) \Big)$$

其中特征网络 $N_{\theta_{f}}$ 负责学习共同特征，领域网络 $N_{\theta_{d}}$ 负责从共同特征中辨别出这个数据出自哪个任务 (体现在让交叉熵损失 $\mathcal L_{\text{ce}}$ 最小，让整个表达式最大)．这时 $N_{\theta_{f}}$ 会尽可能最小化任务损失，同时要阻止 $N_{\theta_{d}}$ 辨别成功．换言之，$N_{\theta_{f}}$ 学到了共同特征．

交叉连接网络 (Cross-stitch Network)

我们还可以不强制所有任务共享完全相同的底层表示，而是用同一个网络来学习共同特征．

具体地，取每个任务的第 $i$ 层 $\mathbf x_i$，每层取第 $j$ 个节点 $x_{i,j}$，最后得到一个 $m$ 维向量 $(x_{i,j}^1, \cdots, x_{i,j}^m)$．我们考虑在这个时候学习共同特征

$$\begin{pmatrix} \tilde x_{i,j}^1 \\ \vdots \\ \tilde x_{i,j}^m \end{pmatrix} = \mathbf A_i \begin{pmatrix} x_{i,j}^1 \\ \vdots \\ x_{i,j}^m \end{pmatrix}$$

$\mathbf A_i$ 越倾向于对角矩阵，共同特征的学习程度就越低．$\mathbf A_i$ 可以通过反向传播更新．

特征选择途径#

1. 基于 $\ell_{p,q}$ 正则化：
   1. $\ell_{2,1}$ 范数 (行稀疏) $\min_{\mathbf W,\mathbf b} L(\mathbf W, \mathbf b) + \lambda \Vert \mathbf W \Vert_{2,1}$
   2. 加权 $\ell_{2,1}$ 范数 $\min_{\mathbf W,\mathbf b, \{ \gamma_i \}} L(\mathbf W, \mathbf b) + \lambda \sum_{i=1}^d \gamma_i \Vert \mathbf w_i \Vert_2$
   3. 重叠组稀疏
   4. 平方根损失 (对异常值敏感) $\min_{\mathbf W,\mathbf b} \sqrt{L(\mathbf W, \mathbf b)} + \lambda \Vert \mathbf W \Vert_{2,1}$
   5. 安全筛选：优化前筛选出 $\mathbf W$ 的零行，对应着无用特征
   6. $\ell_{\infty, 1}$ 范数 $\min_{\mathbf W,\mathbf b} L(\mathbf W, \mathbf b) + \lambda \Vert \mathbf W \Vert_{\infty,1}$，可以用块坐标下降法
   7. Capped-$\ell_{p,1}$ ​正则化 $\min_{\mathbf W,\mathbf b} L(\mathbf W, \mathbf b) + \lambda \sum_{i=1}^d \min(\Vert \mathbf w_i \Vert_p, \theta)$，$p = 1, 2$．效果是对重要特征 (对应较大的 $\Vert \mathbf w_i \Vert_p$) 不过度惩罚，对无关特征则保持惩罚力度．
2. 基于参数分解：Multi-level Lasso 把特征选择分成全局稀疏和局部稀疏，$\min_{\boldsymbol \theta, \hat {\mathbf W}, \mathbf b} L(\mathbf W, \mathbf b) + \lambda_1 \Vert \boldsymbol \theta \Vert_1 + \lambda_2 \Vert \hat {\mathbf W} \Vert_1, \:\text{s.t.}\: w_{ji} = \theta_j \hat w_{ji}, \theta_j \ge 0$，推广形式 $\min_{\boldsymbol \theta, \hat {\mathbf W}, \mathbf b} L(\mathbf W, \mathbf b) + \lambda_1 \Vert \boldsymbol \theta \Vert_p^p + \lambda_2 \sum_{i=1}^m \Vert \hat {\mathbf w}^i \Vert_q^q$
3. 基于结构先验：
   1. 先验知识：单个特征用于哪些任务的关系满足树结构．所有任务作为叶节点建树，把正则项设计成 $f(\mathbf W) = \sum_{i=1}^d \sum_{v \in V} \lambda_v \Vert \mathbf w_{i,G_v} \Vert_2$，其中 $V$ 是树的所有节点，$G_v$ 是子树所有叶节点，$\mathbf w_{i, G_v}$ 是从 $\mathbf W$ 中选取的 $|G_v|$ 维子向量．这样就实现了层次化地特征选择，在 $\ell_{2,1}$ 的行稀疏基础上实现行内选择的稀疏．
   2. 先验知识：不同任务选用的特征互斥．使用列稀疏 $\min_{\mathbf W,\mathbf b} L(\mathbf W, \mathbf b) + \lambda \Vert \mathbf W \Vert_{1,2}^2$．
4. 基于 Bayesian 模型：正则来自先验．(待学习 Bayesian 统计学后再补充)
   1. 广义正态先验
   2. Horseshoe 先验