域适应方法:解决目标任务数据不足

2020-09-27 10:04:58 浏览数 (2)

域适应是对于存在一些有少量或者没有标注数据的领域完成针对性任务的一个有效手段,目前对于很多任务只要有大量标注数据都能达到比较好的效果,然而标注数据的成本是高昂的,尤其是对某些专业性强的术语多的领域,标注就更困难。因此如何将已经在别的领域训练过得模型用到其他领域非常值得研究。

01 域适应情感分类论文:Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning,AAAI2020

以往的学习方法是特征提取器只在源域学习,缺乏目标域的学习,作者提出一种基于深度对抗学习的域适应情感分类方法,使用域识别器保证特征提取器可以获得域不变特性,标签探测器通过每组的分类器生成的情感预测探索目标域中的情感极性并指导特征提取器在每个组中的学习。

02 多源域适应视觉的情感分类模型:Multi-Source Domain Adaptation for Visual Sentiment Classification, AAAI2020

在多个源域中训练覆盖面更广的特征,提出多源感知生成对抗网络(MSGAN),以建立统一的情绪潜在空间,使来自源域和目标域的数据具有相似的分布,用于多维情感分类。为了处理来自多源域的数据,模型寻找一个统一的情感潜在空间,在这个空间中,源域和目标域的数据共享一个类似的分布,这是通过端到端的循环对抗学习来实现的。并有图像重建、图像转换和循环重建三个管道。

03 多源自适应情感分类:Multi-source Domain Adaptation for Sentiment Classification with Granger Causal Inference,SIGIR2020

提出了一种基于Granger-causal目标(MDA-GC)的多源域适应方法用于跨域情绪分类。对于每个源域,使用一种情感引导胶囊网络来建立一个专家模型,捕捉域不变知识,以弥补源域和目标域之间的知识缺口。然后,设计了一种注意机制,为专家分配重要性权重,每个专家都专攻不同的源域。设计Granger因果目标,使分配给个别专家的权重与他们对手头决策的贡献密切相关。

04 多源域自适应矩阵匹配:Moment Matching for Multi-Source Domain Adaptation,ICCV2019

利用矩匹配进行多源域迁移学习,由于传统的无监督域适应(UDA)假设训练数据是从单个域中采样的。作者收集并注释了迄今为止最大的UDA数据集DomainNet,存在显著的领域差距和大量的类别,它包含6个域和分布在345个类别中的约60万幅图像,解决了多源UDA研究在数据可用性方面的差距。提出M3SDA将多个源文件与目标域对齐。在交叉矩发散的框架下,给出了一个有意义的误差界。此外,我们将动量匹配组件合并到深度神经网络中,并以端到端方式训练模型。

05 无监督域自适应高阶矩阵匹配:HoMM: Higher-order Moment Matching for Unsupervised Domain Adaptation,AAAI2020

最大限度地减小不同域间特征分布的差异是无监督域自适应最有前途的方向之一。从分布匹配的角度来看,现有的基于离散度的方法大多是针对二阶或更低阶的统计量设计的,而这些方法对非高斯分布的统计特性的表达是有限的,利用这一方法只能保证分布的粗拟合。使用高阶统计量(主要指三阶和四阶统计量)进行域匹配,提出了一种高阶矩匹配(HoMM)方法,并将其扩展到复制核希尔伯特空间(RKHS),通过匹配高阶矩张量(主要是三阶和四阶矩张量)来进行域对齐,因为高阶矩张量包含更多的描述固有信息,能够更好地表示特征分布。HoMM可以进行任意阶矩张量匹配,并证明了一阶HoMM等价于MMD,二阶HoMM等价于CORAL。此外,三阶和四阶矩张量匹配有助于实现全面的域对齐,因为高阶统计量可以近似更复杂的非高斯分布。利用伪标记目标样本来学习目标域中的域不变表示,进一步提高了迁移性能。针对目标域上缺乏标记的问题,提出了通过对可靠目标样本分配伪标记来学习目标域上的判别聚类方法,从而提高了迁移性能。

为无监督深度领域自适应采用参数共享的双流CNN

0 人点赞