ACL 2018｜北京大学：用循环强化学习实现无平行语料的情感转换
作者：许晶晶，孙栩，曾琪，任宣丞，张晓东，王厚峰，李文婕
ACL 2018
用循环强化学习实现无平行语料的情感转换
Unparied Sentiment-to-Sentiment Translation: A Cycled Reinforcement Learning Approach
北京大学
Peking University
1 引言
本文提出了一种新的方法用于无平行语料的情感转换问题。现有的情感转换的模型存在的问题是，在情感转换的同时不能保证内容不变。例如，主语从food变成movie。其原因是内容和情感在同一个隐向量中，所有信息混在一起难以解释。因为没有平行语料，非情感的语义信息难以不受影响。
本文提出了循环强化学习模型。包括模块和情感化模块。去情感模块作用是去除情感词，以提取非情感的语义信息。情感化模块作用是添加情感词，让中性句子情感化。其核心思想是：第一步，去情感模块先去除情感，然后情感化模块根据原始情感和语义内容重构原句，让情感化模块在有监督的情况下学习增加情感。第二步，将情感词取反，这样就可以实现添加相反的情感词。
2 模型
1）去情感模块，用于去除情感词，视为抽取问题。用LSTM来产生每个词是中性词或极性词的概率。循环强化学习要求模型有初始学习能力，因此提出一个预训练方法来让去情感模块学会判断非情感词。预训练使用了基于自注意力机制的情感分类器，将注意力权重作为指导。这么做的原因是，在训练好的情感分类器模型中，注意力权重在一定程度上反映了每个词对情感的贡献。通常情感词的权重大，中性词的权重小。试验结果表明情感分类准确率达到89%-90%，可以认为分类器充分捕捉了每个词的情感信息。根据连续的权重提取非情感词，将权重离散化为0和1。如果某个词的权重小于这句话的权重的平均值，则其离散值为1，否则为0。情感词权重为1，非情感词为0。将这个结果可以帮助去掉情感。
2）情感化模块
情感化模块负责添加情感词。使用了seq2seq模型，编码和解码都是LSTM。有两个解码器，分别用于添加正情感词和负情感词。
3）循环强化学习
因为loss对去情感模块不再可导，所以建模为强化学习问题，并且用策略梯度来训练去情感模块。首先计算相同情感、相反情感的输出的奖赏R1和R2，其次用策略梯度优化参数，通过最大化奖赏来训练去情感模块。这使去情感模块更好地识别非情感词。进一步加强情感化模块。具体训练过程如下：
1：初始值；
2-3：用极大似然估计分别预训练去情感模块和情感化模块，其中去情感模块的交叉熵损失为：
情感化模块的交叉熵损失为：
4：对于每次循环：
5-6：去情感模块生成中性句子；
7：情感化模块用中性句子和原始情感词生成原句；
8：计算情感化模块的梯度：
9：计算奖励R1；
10-11：情感化模块用中性句子和反向情感生成结果；
12：计算奖励R2；
13：计算整体奖励Rc：Rc=R1+R2；
14：根据策略梯度，计算去情感模块的梯度：
15：更新参数；
16：重复，直到收敛。
奖励有两个指标，分别考查情感和内容。Sentiment confidence：评价生成的文本是否符合目标情感，用预训练中的自注意力机制情感分类器做来评价。BLEU：评价内容的保持程度。奖励表示为二者的加权调和平均数：
3 实验
3.1 数据集
Yelp Review Dataset，400k训练，10k验证，3k测试。
Amazon Food Review Dataset，230k训练，10k验证，3k测试。
基线：Cross-AlignmentAuto-Encoder(CAAE)，Multi-Decoder with Adversarial Learning(MDAL)
3.2 结果
自动评价：
ACC：评价情感转换。BLEU：评价内容保持。G-score：二者的几何平均。
人工评价：
Sentiment：评价情感转换。Semantic：评价内容保持。All：总体表现。
4 总结
1. 对情感转换问题，提出循环强化学习的办法，可以使用无平行语料的数据。
2. 通过将情感和语义明确区分开来保持语义。
3. 在保持语义内容上效果尤其好。