(2) 提出了一种基于多级对比和多粒度交互的文本匹配模型TMCMG。在句子级别做对比学习充分获取句子的语义信息,在句对对比学习中提取样本类别信息,提升模型的性能。同时通过结合词和块两个粒度,将输入句对充分交互,其中块中设计了块内注意力来获取块内局部信息,块内全局注意力得到块的表示,块间注意力获取句子基于块的全局信息。在数据集LCQMC和BQ的实验结果表明模型TMCMG取得了更好的效果。
(3) 提出了一种基于句级去噪和对抗训练的中文长文本匹配模型SF-BERT。使用TextRank算法在构建的文本内部与文本之间的关系图上迭代训练,抽取关键句来作为原文本的表示,从而去除无关噪声句子,减少序列长度。随后,将文本序列对拼接送入模型BERT训练,并使用对抗训练FGM增强模型的泛化能力。实验结果表明,模型SF-BERT在数据集CNSE和CNSS上均取得了优异的性能。
参考文献(略)
