-
News Message
Attention-based LSTM for Aspect-level Sentiment Classification
- by wittx 2020-09-04
一、aspect level情感分析
给定句子和相应aspect，aspect level的任务是判断所给句子在指定aspect上的情感倾向。
aspect level情感分析的关键问题在于捕捉不同的context word对于特定aspect的重要性，利用这个信息做句子的语义表示。关于aspect level情感分析更具体的介绍可以参考《Aspect Level Sentiment Classification with Deep Memory Network》学习笔记。
二、本文主要工作
本文主要是通过attention机制来捕获不同上下文信息对给定aspect的重要性，将attention机制与LSTM结合起来对句子进行语义建模，解决aspect level情感分析的问题。
1、standard LSTM
标准LSTM的模型结构如下图所示，
模型说明：
- 每一时刻输入word embedding，细胞状态和隐层状态按下述公式更新，
- 最后一个隐层状态的输出
作为句子的语义表示； - softmax分类；
- 交叉熵做损失函数。
存在的问题：
这种标准LSTM模型没有考虑特定aspect和上下文之间的关联影响，无法区分出对特定aspect更重要的上下文信息。
2、Attention-based LSTM(AT-LSTM)
AT-LSTM的模型结构如下图所示，
每一时刻输入word embedding，LSTM的状态更新，将隐层状态和aspect embedding结合起来，aspect embedding作为模型参数一起训练，得到句子在给定aspect下的权重表示r。具体计算公式如下，
最终的句子表示为，
得到句子的语义表示之后，利用softmax分类，
3、Attention-based LSTM with Aspect Embedding (ATAE-LSTM)
AT-LSTM在计算attention权重的过程中引入了aspect的信息，为了更充分的利用aspect的信息，作者在AT-LSTM模型的基础上又提出了ATAE-LSTM模型，在输入端将aspect embedding和word embedding结合起来。
ATAE-LSTM模型结构如下图所示，
在AT-LSTM的基础上，将aspect embedding和word embedding结合起来作为输入，aspect embedding依然是作为模型参数一起训练。
三、实验
1、数据实验所用数据是SemEval 2014 Task4的用户评论数据集，具体分布情况如下表所示。
数据集中的每一条评论对应一个aspect列表和相应aspect情感倾向的列表。
例： The restaurant was too expensive. aspect：{price} polarity：{negative}
实验结果可以看出，在实验数据集上，ATAE-LSTM取得了最好结果。
3、Attention Visualization
图(b)中，输入句子为 “The fajita we tried was tasteless and burned and the mole sauce was way too sweet.”，aspect为"food"，tasteless和too sweet权重较高。
四、总结
1、本文将attention与LSTM结合在一起，通过attention去获取对不同aspect更重要的上下文信息，来解决aspect level情感分析问题，在实验数据集上取得了较好效果。
2、目前的模型中，不同的aspect只能独立输入处理，怎样才能通过attention一次处理多个aspect是一个值得深入探讨的方向。
Share Http URL: http://www.wittx.cn/get_news_message.do?new_id=113
Best Last Month
Information industry by wittx
Computer software and hardware by wittx
Information industry by wittx
Information industry by wittx
Information industry by wittx
Information industry by wittx
Information industry by wittx
Information industry by wittxMicrosoft’s Automatic Prompt Optimization Improves Prompts to Boost LLM Performance
Information industry by wittx
Information industry by wittx
