标注：本博客是参考论文有《传统情感分类方法与机遇深度学习的情感分类方法对比分析》、《自然语言处理中的深度学习：方法及应用》

情感分类是自然语言处理的重要分支，传统情感分类主要有基于情感词典的和基于机器学习的，最新的方法是基于深度学习的。

1、基于情感词典的方法

缺点：受限于情感词典的质量和覆盖度。
定义：是对人脑的简单模拟，核心模式是基于词典和规则，即以情感词典作为判断评论情感极性的主要依据，根据以往经验对现有词汇做出评价的一种模型，eg1：通常把讨厌、糟糕作为消极词，把高兴。快乐作为积极词，通过句子中出现的情感词，预测该句子的情感极性。
依赖于：情感词典的构建和判断规则质量，而两者都需要耗费很多人力，包括人工设计和先验知识。

2、基于机器学习

核心：模型训练
缺点：模型训练依赖于标注数据集的质量，高质量的数据集需要投入大量人工成本。需要高质量的特征构造和选取。
常用特征有:N-gram特征、句法特征等。

3、基于深度学习模型

1. 定义：

   深度学习是基于特征自学习和深度神经网络（DNN）的一系列机器学习算法的总称。目前深度学习的研究有了长足发展，在传统特征选择与提取框架上取得巨大突破，在自然语言处理、生物医学分析、遥感影像解译等诸多领域产生越来越重要影响，并在计算机视觉和语音识别领域取得革命性突破。

2. NLP研究任务包括

   词性标注、机器翻译、命名实体识别、机器问答、情感分析、自动文摘、句法分析和共指消解等。

3. 深度学习应用在NLP领域原因：
   文本间的关系难以度量，相关研究高度依赖人工构建特征。而深度学习方法的优势恰恰在于其请打的判别能力和特征自学习能力，非常适合高维数、无标签和大数据的特点。

4. 不使用传统神经网络原因

   传统神经网络无法处理前后关联问题，而深度学习模型RNN解决了该问题。随着距离和先验知识的增加，RNN会出现梯度消失或梯度爆炸情况，因此无法解决长久依赖问题。而LSTM通过三个门结构控制细胞cell,解决上述问题。

5. 深度学习优点：

   基于深度学习抽象特征，可避免人工提取特征的工作，且通过Word2Vec技术模拟词语之间联系，有局部特征抽象画以及记忆功能，在情感分类中具有极大优势。

6. 现有深度学习方法主要分为两个步骤：

   • 将需要分类的评论语料表达为语义词向量（Word Embedding）;
   • 通过不同语义合成方法用词向量得到所对应句子或文档的特征表达式，最后通过深度神经网络进行分类。

3.1 语义词向量表达

在自然语言处理中，很重要的一个问题是如何将一个句子用向量表示。词向量通常是指通过语言模型学习到的词的分布式特征表示，也被称为词编码。可以非稀疏的表示大规模语料中复杂的上下文信息。

BOW（Bag of Words）。

传统文档表示方法是基于词袋模型。
BOW核心思想：忽略文本中的次序和语法、句法，仅看成这些词汇的排列组合，且文本中的词汇没有任何关系。
缺点：

1. 极高维度：文本向量的维数与训练数据集中出现的所有单词数一样多，且若某一词汇在训练集中未出现过，则会忽视这个词，在测试集中无法成为该文本特征。
2. 向量极度稀疏
3. 认为词语之间无关系，很难表示一个句子或一篇短文的语义，
4. 不同语境下，词袋法很难区分一个词的意义。

Word2Vec

该模型由Mikolov等人提出，核心思想是通过高维向量表示词语，相近词语放在相近位置，因此Word2Vec适合处理序列数据，因为序列局部间的数据存在很大关联。通过Word2Vec可训练语料库模型，获得词向量，且词向量的高维性解决了词语多方向发散问题，从而保证模型的稳定性。
有两种模型：（1）CBOW:通过上下文预测当前词
（2）Skip-gram:通过当前次预测上下文。

3.2句子向量

通过不同语义合成(Semantic Composition)方法用词向量得到所对应句子或文档的特征表达，语义词向量就是利用原始词向量合成更高层次的文本特征向量。

3.3深度学习模型

• 循环神经网络和长短记忆神经网络

  循环神经网络（Recurrent neural networks,RNN）是隐藏层和自身存在连接的一类神经网络。相较于前馈神经网络，RNN可将本次隐藏层的结果用于下次隐藏层的计算，因此可以用来处理时间序列问题，比如文本生成【28】、机器翻译【29】和语音识别【30】，RNN的优化算法为BPTT算法（backpropagation through time）【31】,由于梯度消失的原因，RNN的反馈误差往往只能向后传递5-10层，因此文献【32】在RNN的基础上提出来长短记忆神经网络（long-short term memory,LSTM）.LSTM使用Celljiegou 记忆之前的输入，使得网络可以学习到合适的时机重置Cell结构。

• 卷积神经网络（Convolutional neural networks,CNN)

  CNN由文献【40】提出并由文献【41】改进的深度神经网络。在一般前馈神经网络中，输入层和隐藏层之间采用全连接结构，而在CNN中每一个卷积层节点只与一个固定大小的区域有连接，连接的权重矩阵称为卷积核。池化（pooling）是CNN所采用的另一个关键技术，在固定大小的区域使用平均值或最大值代替原有的矩阵区域，既减少了特征数目又增加了网络的鲁棒性。
  目前CNN在NLP领域的应有有许多新的尝试。文献【6】将CNN用于语义角色标注，文献【42】使用字符作为语义特征，采用大规模文本语料训练CNN迷行用于本体分类、情感分析和文本分类。

4 基于情感词典、机器学习、深度学习在情感分类中对比

5深度学习瓶颈

目前深度学习的理论依据还处于起步阶段，大部分的研究成果都是经验性的，没有足够的理论来指导实验，研究者无法确定网络架构。超参数设置是否已是最优组合。除此之外，目前仍没有一种通用的神经网络或学习策略可以适用于大多数的应用任务，因此深度学习领域的研究者正在不断尝试新的网络架构和学习策略，以提升网络的泛化能力。
目前深度学习用于NLP领域的主要步骤可以归结为如下3 步：

• 将原始文本作为输入，自学习得到文本特征的分布表示。
• 将分布式向量特征作为深度神经网络的输入。
• 针对不同的应用需求，使用不同的深度学习模型，有监督的训练网络权重。

目的

1、掌握遥感影像的各种分类方法；

2、比较Landsat数据和哨兵数据分类后的结果；

3、掌握遥感影像分类后处理的基本流程。

主要内容

1、landsat与哨兵2影像非监督分类与监督分类

2、landsat与哨兵2遥感影像决策树分类

3、遥感影像分类后处理

具体步骤

01非监督分类

哨兵影像非监督分类

a)Classification-UnsupervisedClassification-K-Means Classification打开非监督分类面板，选择大气校正后的哨兵影像，设置分类参数，在此分为五类。

图1｜K-Means方法参数设置

b)将分类进去的背景值利用矢量边界裁剪掉，并将格式改为dat的，在ArcGis中进行专题图的制作，生成专题图。

Landsat影像非监督分类

与哨兵影像非监督分类的流程相同，并在ArcGIS中制图输出。

早在20世纪70年代，人们就开始利用计算机进行卫星遥感图像的解译研究，其主要方法就是遥感图像目视判读，它依赖于图像解译人员的解译经验与水平。20世纪80年代，主要是利用统计模式识别方法进行遥感图像的计算机分类，这种方法的特点是根据图像中地物的光谱特征对影像中的地物进行分类。20世纪90年代以来，涌现出了大量的遥感图像分类方法，如人工智能分类法、遥感与GIS结合法、面向对象的分类法、多源信息复合分类法等都取得较好的效果。然而，由于新的分类方法的大量涌现，遥感图像分类方法出现了多而杂的问题。

总的来说，目前的遥感分类方法可以归结为以下几大类，目视解译方法、基于统计理论的分类方法、人工智能方法、其他分类方法。

1. 目视解译

目视解译是一种传统的遥感分类方法，是是根据确定的分类系统和解译标志以及解译经验，对图像进行判读等方法来获取土地利用/覆盖的分类。目视解译方法应用广泛，有操作简单、灵活性强等优点，但是目视解译过于好费时间，而且很大程度收到解译人员经验的影响，不同的解译人员由于其解译经验不一样，其解译结果往往差别较大。因此，在很多新的计算机分类方法出现之后，该方法现在往往和计算机自动分类方法进行结合使用，即人机交互目视解译，能够很大程度提高遥感分类精度。

2. 基于统计理论的分类方法

该方法广泛应用于早期的遥感图像分类中，具有很多成熟的算法。根据分类前能否获得训练样本类别这一先验信息可以分成两大类：监督分类和非监督分类。

监督分类是指在样本类别已知的情况下，从训练集出发得出各个类别的统计信息。然后根据这些统计信息结合一定的：别准则对所有像素进行判别处理，使具有相似特征并满足一定判别准则的像素归并为一类。监督分类方法有最小距离法、马氏距离法、最大似然法、神经元网络分类方法、Parzen窗法、K-近邻法、Parallelpip等；非监督分类是在没有先验知识的情况下，通过计算机采用一定的聚类算法对图像进行聚类统计分析的方法，如K-means算法，模糊c-means算法，AP聚类算法等（赫英明，2011）。

3. 人工智能方法

人工智能分类方法有神经网络分类、决策树分类方法、专家系统分类、遗传算法等。

人工神经网络(ANN)：是以模拟人脑神经系统的结构和功能为基础而建立的一种数据分析处理系统，具有对信息的分布式存储，并行处理、自组织、自学习等特点，通过许多具有简单处理能力的神经元的复合作用而具有复杂的非线性映射能力。

决策树分类方法：最早产生于上世纪60年代，到70年代末。该方法首先数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。其上决策树是通过一系列规则对数据进行分类的过程。

专家系统分类方法：是一种智能化的计算机程序或软件系统，能够像专家一样分析和解决复杂的实际问题。专家系统分类的关键是知识的发现和推理技术的运用。

遗传算法(GA)：是1975年美国Michigan大学教授J.Holland首先提出的。遗传算法抽象于生物体的进化过程，通过全面模拟自然选择和遗传机制，形成一种具有“生成+检验”特征的搜索算法。

4. 其他分类方法

其他分类方法有与GIS结合分类方法、分层分类方法、模糊数学分类方法、面向对象分类方法、支持向量机算法、多源信息复合分类法等。

分层分类法：是根据各类目标的光谱、时间、空间等不同特征，采取相应的信息提取方法，分别建立不同的专题信息层，最后把各专题层合并汇总得到整体分类图。

模糊数学分类方法：产生于20世纪60年代中期，美国控制论专家查德（L.A.Zadeh）首先提出了模糊集概念。它是一种以模糊集合论作为基础，针对不确定性事物的分析方法，和普通集合论中事物归属的绝对化不同。模糊分类法的关键在于确定隶属度和隶属函数，然而这一过程比较复杂，至今尚无一般的规则可以遵循。因此，这种方法一直没有得到较好的推广使用。

面向对象的分类方法：是一种面向对象的影像分割技术，其最重要的特点就是分类的最小单元是由影像分割得到的同质影像对象（图斑），而不再是单个像素，可以实现较高层次的遥感图像分类和目标地物提取。面向对象分类方法不仅利用地物本身的光谱信息，而且充分利用地物的空间信息，包括形状、纹理、面积、大小等要素，因此可以提高信息提取的准确性和可靠性。

支撑向量机(SVM)：由Vapnik 提出的，结构风险理论、二次优化理论、核空间理论是SVM的3大基础理论。它是一种基于统计学习理论的新型机器学习算法，通过解算最优化问题，在高维特征空间中寻找最优分类超平面，从而解决复杂数据的分类及回归问题。

多源信息复合分类法：随着遥感和计算机信息技术的飞速发展，航空航天遥感传感器数据获取技术趋向于“三多”（即多平台、多传感器、多角度）和“三高”（即高空间分辨率、高光谱分辨率、高时相分辨率）。因此，多源信息复合分类法可以充分利用已有遥感信息资源，是提高遥感分类精度的有效方法。多源信息复合分类法主要包括基于影像纹理信息结构的分类法、基于时相信息的频谱分析法、基于多角度信息的分类法、基于多分类器的分类法、基于地学专家知识的分类法。

遥感影像分类领域，分类方法众多，各类算法各具特点，一些新的分类技术相比于传统方法在分类精度上有一定提高，但同时也存在一些不足之处。因此，继续探索先进方法以提高遥感影像的分类精度仍然存在广阔的研究空间。在遥感监测过程中，单一的采用某一种方法往往达不到理想的效果，通常会根据遥感监测的目标，结合两种或者多种分类方法进行分类，以提高分类精度。