基于BiGRU与方面注意力模块的情感分类思考

本文是一篇软件工程论文，本研究发现，当前主流的情感分类方法是基于深度学习的方法，而且神经网络与注意力机制结合的方法走在了最前沿。通过分析当前神经网络与 Attention 的混合模型，发现当前模型存在一些问题。一方面，当前神经网络模型相当复杂，参数过多，计算量大，具体表现为模型训练时间过长。另一方面，当前模型对方面信息的挖掘不充分，与注意力机制的结合有很大的改进空间。第一章 绪论1.1 研究背景及意义随着互联网的兴起，我国网民规模达到 9.40 亿，人们以更加积极的姿态活跃在互联网世界中[1]。人们从以往的互联网信息的浏览者，向互联网信息的生产者转变，越来越多的人们开始在网络上表达观点与看法。越来越多的服务和产品转入线上，且积累了大量相关服务或产品的评论。例如在淘宝、天猫、京东等电商平台上，累积了大量关于产品及服务的用户评论数据；在微博，头条等资讯平台，留下了海量关于时事热点的讨论数据；在美团、饿了么等生活服务平台，用户评论数据迎来爆发性增长。这些主要为文本形式的海量数据蕴含着巨大的价值，其中包含着用户关于某事或某物的观点、态度、情绪。借助大数据，人工智能等技术分析、挖掘这些数据，从用户角度看，能给用户提供选择依据，得到满意的商品或服务。对于商家来说，这些数据能让商家根据用户喜好进行针对性的营销，帮助商家改进产品及服务。分析、挖掘这些评论中蕴含的情感数据，一方面有利用顾客选择合适的服务或产品，另一方面有利于商家熟悉顾客的喜好与需求，可以帮助商家有针对性的优化自己的服务或产品。情感分析是这一领域的一项重要技术。情感分析是指从包含情感色彩的文本信息中分析、挖掘出其中包含的关于某事或某物的意见、态度和情绪[2]。情感分析，按任务粒度的粗细一般分为三个子类：文档级情感分析，句子级情感分析和方面级情感分析[3,4]。方面级情感分析是对一个对象的特定方面进行情感分类，而一个对象往往包含多个方面，方面级别的情感分析可以确定一个对象所具有各个方面的情感极性。在对用户的文本评论数据的研究过程中, 发现用户表达的情感极性与文本内容及其所属的方面高度相关.用户所表达的情感极性，一般包括，积极的、消极的和中性三类。..............................1.2 国内外研究现状方面级情感分析的任务是对某实体的若干方面进行挖掘，提取出各个方面所包含的情感极性[5,6]。方面级情感分析注重对细粒度情感信息的分析，已成为情感分析领域的关键任务。当前主要包括：基于情感词典或语义规则的传统方法和基于深度学习的方法。1.2.1 基于情感词典或语义规则的传统方法基于情感词典的方法和基于语义规则的传统机器学习方法，是解决方面级情感分析问题的传统方法。对于基于情感词典的方法，识别文本中的情感极性依赖于标注好的情感词典。基于情感词典的方法的分类性能，与使用的情感词典的完整性、准确性密切相关。目前已出现不少可使用的情感词典，比如根据每个词语的词性、极性和强度标注的评价词词典 GI(General Inquirer)[7]，及把每个词语的按正、中性和负 3 中情感评分，3 项总合 1 分的 SentiWordNet 词典[8]等。中文情感词典则有，如知网 HowNet[9]情感词典和台湾大学 NTUSD[10]评价词词典等。基于情感词典的方法利用已构建好的情感词典，通过将文本分词对应到词典中的单词的极性与强度，实现文本的情感分类。如 Ding 等人[11]提出基于情感词典的方法，其中对特殊的词、短语和结构基于它们的潜在意义或使用模式设计了一套语言模式来专门处理，通过考虑每个观点词与产品特征之间的距离来聚合这些词，这是一种非常有效的方法。Nguyen等人提出了一种新的基于两个树核组合的树核来提取方面意见关系，该方法通过自动识别方面意见关系来增强基于方面的情感分析，进一步优化了基于情感词典方法的性能[12]。基于情感词典的方法是通过计数计算的相对简单的方法，因此效率高，但也有它明显的局限性。首先一个句子中的情感词并不是对给定的每一个方面的情感极性都产生影响，其次，对于每一个词情感词典都指定了其情感极性和强度，而同一个词在不同的上下文语境中，具有不同的情感极性和强度。基于语义规则的机器学习方法具有更好地分类性能。机器学习方法高度依赖于特征工程，通过特征向量预测输入句子在给定方面的情感极性实现情感分类。首先为了得到特性向量，需要由人工分析数据集的特点，设计出合适的特征，然后是分类器，需要选择一个合适的机器学习算法，最后利用特征工程处理样本得到的特征向量，通过分类器对样本进行情感分类。..................................第二章 相关理论和技术2.1 基于 Word2Vec 的词嵌入方法词嵌入即将文本中的单词、词语转化为能被计算机理解的数值形式，是自然语言处理领域的一项重要工作。由词嵌入方式得到的向量能保留各个单词、词语间的语义关系。具有相近意思的词在转化为词向量时，会被映射在相近的空间位置中。因此，通过利用欧氏距离或夹角余弦[33]等数学公式，对单词向量进行运算得出相应单词间的语义相似度。Word2Vec 由 Tomas 等人提出，可以在只考虑“局部上下文”得到有效的词向量[34,35]。研究发现，一个单词的意义与经常出现在其上下文中的单词的意义密切相关。对于一个很大的语料库，Word2Vec 的基本思路是定义一个固定长度的窗口，用这个窗口扫过语料库中的每一个句子，其中中心词是位于窗口中心的词，而位于其左右的称为上下文词。此时，对于给定单词作为为中心词时，可以用其上下文词的条件概率表示他们的相似度，不断调整单词向量的表示去最大化这个条件概率。对于一个单词 w，可以用它的中心词向量表示  和它的上下文向量表示  来表示这个单词。基于 Word2Vec 的词嵌入方法有 CBOW（Continuous Bag ofWords）和 Skip-Gram 两种。不同在于，CBOW 采用最大化中心词相对于上下文词的条件概率的方法，通过上下文词去预测中心词，从而实现词向量的更新。而Skip-Gram 采用最大化上下文词相对于中心词的条件概率的方法，通过中心词来预测上下文词，从而实现词向量的更新。具体结构如图 2.1 所示，CBOW 的输入是上下文词，而 Skip-Gram 的输入是中心词。软件工程论文怎么写软件工程论文怎么写..............................2.2 循环神经网络循环神经网络具有优秀的序列数据处理能力[36]。按时间顺序、文字顺序等前后有关联的一系列数据称为序列数据。比如，对于一段视频，要理解它的内容，不能一帧帧单独的去看，而要分析对每一帧组成的整个视频序列；同样，对于一句话的意思，关键在于理解由每一个词组成的整个句子序列的含义。RNN 是这样一种特殊的神经网络，它不仅考虑前一时刻的输入，而且其网络结构具有记忆能力，能够记住前面的内容。RNN 的工作机制与传话游戏的相似，传话游戏中会出现这样一个现象，最初一个人说的东西，传到最后一个人时，可能得到的是一个完全不相干的东西。RNN 中也会出现相似的问题，当前时刻的 RNN 不知道最初传递的值，决定最终输出的是前一时刻的输入值和当前时刻的输入值。所以 RNN 可以学习到文本上文的信息，却不能学习到文本下文的信息。也就是说 RNN 在传播过程中可能会出现信息的增强或信息的丢失问题，也即梯度的爆炸或梯度的消失。因此，一系列的改进算法被研究人员提出，其中就包括相当成功的长短期记忆神经网络（LSTM）。LSTM 是 RNN 变体中，得到广泛应用的特殊神经网络[37]。LSTM 通过设置巧妙的门控机制将加法运算加入网络中，使得网络能够获取更长序列的信息，在很大程度上处理的 RNN 的梯度消失的问题。..............................第三章 方面级情感分类模型改进研究............................ 193.1 引言..............................................193.2 基于双向门控循环神经网络的方面级情感分类模型......................203.3 基于注意力机制的方面级情感分类模型.............................. 25第四章 实验与分析.......................................324.1 实验环境............................................324.2 实验数据.........................................324.3 评价标准和参数设置............................ 33第五章 总结和展望.............................465.1 总结...........................................465.2 展望.....................................47第四章 实验与分析4.1 实验环境本文提出三种方面级别的情感分类模型：基于 BiGRU 的方面级情感分类模型，基于注意力机制的方面级情感分类模型和 BiGRU 结合方面注意力模块的模型均在基于 Python 的深度学习框架 TensorFlow 中实现。TensorFlow 是由谷歌开发与维护的，被广泛应用于深度学习算法的编程实现。表 4.1 中列出了实验环境的相关参数与设计。软件工程论文参考软件工程论文参考...........................第五章 总结和展望5.1 总结互联网为用户表达意见和观点带来了极大方便，与此同时用户的评论数据开始激增。海量的用户数据蕴含极大地价值，对于用户有极大的参考价值，对于商家则可以得到有价值的反馈，有助于商家改进产品以及精准营销。方面级情感分类是其中一项重要的任务。本文首先介绍了相关背景，引出方面级情感分类的意义，然后分析了方面级情感分类的国内外研究现状。研究发现，当前主流的情感分类方法是基于深度学习的方法，而且神经网络与注意力机制结合的方法走在了最前沿。通过分析当前神经网络与 Attention 的混合模型，发现当前模型存在一些问题。一方面，当前神经网络模型相当复杂，参数过多，计算量大，具体表现为模型训练时间过长。另一方面，当前模型对方面信息的挖掘不充分，与注意力机制的结合有很大的改进空间。针对以上问题，本文提出三种方面级别的情感分类模型：基于 BiGRU 的方面级情感分类模型、基于注意力机制的方面级情感分类模型和 BiGRU 结合方面注意力模块的模型。首先本文提出了基于 BiGRU 的方面级情感分类模型，BiGRU 具有结构简单，参数更少，信息提取能力强的优点，该模型在准确率不错的情况下，使模型的训练时间减少将近一倍。第二，提出基于注意力机制的方面级情感分类模型。采用多个注意力模块处理不同的方面，各个注意模块的注意力参数不同，能针对性的处理不同方面的情感倾向，且利用注意力机制的并行计算能力同时处理多个方面，能显著优化处理方面级情感分类任务的性能。最后，综合考虑以上两个模型，提出最终模型，BiGRU 结合方面注意力模块的模型。该模型吸收了 BiGRU 和注意力机制两方面的优势，通过在三个数据集上的多组对比实验验证了本文所提模型的有效性。其中，双向门控循环神经网络结合方面注意力模块的模型在所有模型中准确率最高，同时模型所需迭代时间较低，即在方面级情感分类任务上，该模型又准又快。