引言
FinEAS: Financial Embedding Analysis of Sentiment
本文提出了一种基于监督微调句子嵌入的金融情绪分析模型。实验结果表示，与BERT、LSTM、FinBERT(一种特定于金融领域的BERT)等算法相比，本文方法取得了显著的结果提升。
论文及源码下载链接在文章后面。
正文开始
1
文章背景
情感分析是一种利用自然语言处理 (NLP) 将文本分类为正面和负面技术。在金融领域，新闻和投资者情绪是个别证券价格和整个市场的重要影响因素。自动化任务和分析需要金融领域的自然语言处理 (NLP) 功能。
为此利用现代NLP方法的能力进行金融情绪分析，对市场参与者以及监管机构识别市场模式和发展趋势来说是非常重要的。近年来，使用基于transformer的语言模型进行迁移学习的方法，如BERT，在文本分类、情感分析等任务中取得了最先进的结果。举一反三，研究人员很快将这些方法用于金融文本情绪分析，但是实际效果还是有待提高的。尽管如此，对于在该领域使用 Transformer语言模型得到的结果并不理想。为此，本文提出了一种基于 Transformer 语言模型的有效方法，且该方法是句子级别的分析。
2
文章模型方法
文章从以下两个角度考虑出发：（1）金融领域在词汇和结构上与一般领域非常相似；（2）金融情绪分析是一个句子/文档级别的任务.
领域：特定领域的 BERT 模型，即使可能是该任务的最佳选择，在计算时间和所需的大量训练数据方面可能不值得付出努力。相反，文章建议使用通用域模型作为 NLP 主干。
句子级：关于第二个观察，虽然金融情绪确实需要高质量的句子嵌入（不是令牌级嵌入），但我们注意到普通 BERT 不提供强大的句子嵌入。
本文模型：该模型从标准 BERT 模型的监督微调句子嵌入开始。具体来说，首先将句子提供给 Sentence-BERT 模型，然后尝试将其用作特征提取器并执行全模型微调，最后将输出的句子（嵌入维度为768）输入到一个附在tanh激活函数上的线性层。这里的新模型称为情绪金融嵌入分析(FinEAS)。
3
实验快照
初始比较的结果（如上图），即BERT和FinEAS与完全训练后的LSTM进行对比。与BiLSTM(0.2108)和BERT基线(0.2124)相比，FinEAS在6个月的MSE获得了巨大的改善，其值为0.0556。
最终比较（如上图），第一个比较表明 FinEAS 优于基本基线。在这个模型中，FinEAS 与 FinBERT 进行了比较，FinBERT 是一种最先进的金融情绪分析模型。
