文本分类微调技巧实战2.0

讯飞比赛答辩结束，笔者和小伙伴们参加了一些讯飞的比赛，今年讯飞文本分类比赛相比去年更加多元化，涉及领域、任务和数据呈现多样性，听完各位大佬的答辩之后，结合之前经验和以下赛题总结下文本分类比赛的实战思路。

1 讯飞文本分类赛题总结

1.1 非标准化疾病诉求的简单分诊挑战赛2.0 top3方案总结

赛事任务

进行简单分诊需要一定的数据和经验知识进行支撑。本次比赛提供了部分好大夫在线的真实问诊数据，经过严格脱敏，提供给参赛者进行单分类任务。具体为：通过处理文字诉求，给出20个常见的就诊方向之一和61个疾病方向之一

赛题特点

分类标签有两个，问诊方向和疾病方向，并且评估指标分别为macro-f1和micro-f1
疾病方向有不少数是缺失标签，数据集中值为-1
文本方向和疾病方向两种标签有一定约束关系，表现为比如问诊方向为“小二消化疾病”，疾病方向为“小儿消化不良”
数据特点

就诊方向标签中，其中内科、小儿保健、咽喉疾病数量比较多，骨科、甲状腺疾病问诊人数较少

疾病方向标签中，其中内科其他最多，宫腔镜疾病人数较少

数据预处理

(1) 对于文本字段，缺失值直接用空字符串“”填充 (2) 对于spo.txt文件，根据第一列疾病名称构建聚合文本，用于文本语义增强，比如

(3)如果文本文本中含有疾病名称，就根据拼接对应疾病的聚合文本，然后按照文本信息曝光量拼接文本，比如疾病名称很大程度上指定了患者疾病类别归属, 注意：title和hopeHelp字段存在重复的情况，此时仅保留title即可

建模思路

赛题总结

问诊疾病的知识文本，每条包含主体/（属性）/客体的利用对标签学习具有提升效果
联合训练问诊方向与疾病方向标签相比单独训练各自标签的模型效果要好
伪标签学习能够进一步提升在疾病方向的效果

致谢队友：我的心是冰冰的、江东、pxx_player

1.2 中文语义病句识别挑战赛 top2方案总结

赛事任务

中文语义病句识别是一个二分类的问题，预测句子是否是语义病句。语义错误和拼写错误、语法错误不同，语义错误更加关注句子语义层面的合法性，语义病句例子如下表所示。

赛题特点

本次比赛使用的数据一部分来自网络上的中小学病句题库，一部分来自人工标注，比赛一开始拿到数据的时候，真的让人去做病句识别就很难

标签分布比较特殊，数据量比较大，1的数据是0的数量约3倍

数据预处理

在比赛过程中，选手们可以发现这个数据比较容易拟合，通过分析其中有部分数据比较相似、甚至有些是重复数据，所以需要过滤去除重复数据，减少线差
数据划分采用多折分层采样

建模思路

在实验过程中，我们尝试了一些中文预训练模型，比如选择macbert或者具有纠错能力的模型，效果不错的是macbert和electra

代码语言：javascript复制

shibing624/macbert4csc-base-chinese
hfl/chinese-macbert-base、hfl/chinese-macbert-large
nezha-large-zh
hfl/chinese-electra-large-discriminator
hfl/chinese-roberta-wwm-ext

赛题总结

中文病句识别的预训练底座基础选型比较重要，其中electra和macbert不错，除此看其他大佬使用了prompt learning、pert模型
数据去重可以减少线差

致谢队友：江东、A08B06365ECB216A

1.3 人岗匹配挑战赛 top2方案总结

赛题任务

智能人岗匹配需要强大的数据作为支撑，本次大赛提供了大量的岗位JD和求职者简历的加密脱敏数据作为训练样本，参赛选手需基于提供的样本构建模型，预测简历与岗位匹配与否。

数据预处理

本次比赛为参赛选手提供了大量的岗位JD和求职者简历，其中：

岗位JD数据包含4个特征字段：job_id, 职位名称, 职位描述, 职位要求
求职者简历数据包含15个特征字段：

代码语言：javascript复制

id, 学校类别, 第一学历, 第一学历学校, 第一学历专业, 最高学历, 最高学历学校, 最高学历专业, 教育经历, 学术成果, 校园经历, 实习经历, 获奖信息, 其他证书信息, job_id。

在训练集中，job_id的数量分布如下，可以看出岗位4和12数量最多，38和37岗位比较少

建模思路

词表构建由于本次比赛数据为匿名数据，开源中文预训练模型不适用，因此需要重新构建词表、语料，进而重新训练预训练模型第一步，构建词汇表，根据训练集、测试集和JD数据，按照空格分词，对所有文本进行切分，然后构建词汇表，另外需要加入五个特殊字符，[PAD]、[UNK]、[CLS]、[SEP]、[MASK],最后词汇表大小为4571
预训练语料构建由于本次比赛数据为匿名数据，开源中文预训练模型不适用，因此需要重新构建词表、语料，进而重新训练预训练模型

第二步，构建预训练语料，直接将学校类别, 第一学历, 第一学历学校, 第一学历专业, 最高学历, 最高学历学校, 最高学历专业, 教育经历, 学术成果, 校园经历, 实习经历, 获奖信息, 其他证书信息这些字段的文本拼接在一起，生成一个人的简历描述。