【迁移学习】分布差异的度量以及迁移学习的统一表征方法

来源：花匠小妙招时间：2024-12-29 07:38 更新：2025-01-14 02:31

【迁移学习】分布差异的度量以及迁移学习的统一表征方法

沐兮Krystal 于 2022-11-21 17:39:20 发布

结构风险最小化

机器学习就是要寻找一个最优函数 f f f，使得其在所有的训练数据上达到最小的损失。上述学习目标也可以被称为 经验风险最小化 （Empirical Risk Minimization, ERM），其中的损失函数也称为 经验风险。事实上，一个好的机器学习模型，不仅需要对训练数据有强大的拟合能力，还需要对未来的新数据具有足够的预测能力。结构风险最小化（Structural Risk Minimization, SRM）是统计机器学习中一个非常重要的概念。SRM准测要求模型在你和训练数据的基础上，也要具有相对简单的复杂性（较低的VC维（Vapnik-Chervonenkis dimension）。通常采用正则化（Regularization）的方法来控制模型的复杂性。VC维 是用来衡量研究对象（数据集与学习模型）可学习性的指标。VC维反映了可学习性，与数据量和模型的复杂度相关。因此，VC维较低的模型，其复杂性也较低。常用的正则化项有：控制样本的稀疏程度、筛选样本的L1正则化，使求解简单、避免过拟合的L2正则化，控制目标熵值的熵最小化等。

数据的概率分布

传统的机器学习假设模型的训练和测试数据服从同一数据分布。在真实的应用中，训练数据和测试数据的分布往往不尽相同。

迁移学习的问题定义

分布差异的度量

在这里插入图片描述

边缘分布自适应（Marginal Distribution Adaptation）边缘分布自适应的本质，与自变量偏移一样，针对的问题是源域和目标域的边缘概率分布不同， P s ( x ) ≠ P t ( x ) P_s(x)ne P_t(x) Ps(x)=Pt(x)的情况。自变量漂移同时假设二者的条件概率分布相同，即 P s ( y ∣ x ) ≈ P t ( y ∣ x ) P_s(y|x)approx P_t(y|x) Ps(y∣x)≈Pt(y∣x)。在这个假设的前提下，边缘分布自适应方法的目标是：减少源域和目标域的边缘概率分布的距离。
D ( P s ( x , y ) , P t ( x , y ) ) ≈ D ( P s ( x ) , P t ( x ) ) D(P_s(x,y), P_t(x,y)) approx D(P_s(x), P_t(x)) D(Ps(x,y),Pt(x,y))≈D(Ps(x),Pt(x)) 动态分布自适应（Dynamic Distribution Adaptation）

在这里插入图片描述

分布差异的统一表征

在这里插入图片描述

分布自适应因子的计算

迁移学习统一表征

在这里插入图片描述

v ∈ R N s boldsymbol{v}in mathbb{R} ^{N_s} v∈RNs 为源域样本的权重。 T T T 为作用于源域和目标域上的特征变换函数。 R ( T ( D s ) , T ( D t ) ) R(T(mathcal{D_s} ),T(mathcal{D_t} )) R(T(Ds),T(Dt)) 为迁移正则化项（Transfer Regularization）。迁移学习可以被概括为寻找合适的迁移正则化项的问题。通过对 v i v_i vi 和 T T T 取不同的情况，派生出三大类的迁移学习方法：
在这里插入图片描述