NLP任务主要分为4大类


序列标注：分词、实体识别、语义标注
分类任务：文本分类、情感计算
句子关系判断：entailment(推理、蕴含)、QA、自然语言处理
生成式任务：机器翻译、文本摘要


下面是一些比较好的关于NLP的总结：

NLP学习路线总结：https://blog.csdn.net/asialee_bird/article/details/85702874

自然语言处理（NLP）知识结构总结：https://blog.csdn.net/meihao5/article/details/79592667

(From Diary March 11, 2017)
reading a paper while at a banquet tonight (Bates 1993)
The paper starts with marking a distinction between SR and NLP. SR is a well defined problem and effectiveness of method can be clearly assessed. NLP is hard. It is about understanding. It is not a well defined problem and hard to evaluate effectiveness of any method.
It surveys historical development of the branch. Now I understand why AI articles tend to be very “non-parametric”. It is because textual data itself is non-parametric–too many degrees of freedom. Any modelling of it will internally host a lot of degrees of freedom and thus could appear as adhoc and heuristic, but it is really reflecting the difficulty of finding a suitable parameterization of the text data itself.
Historically NLP researchers have attempted machine translation, question answering (which uses a database to store all answers and then the problem becomes interface design (querying)), application design such as grammar/style checkers, generative model.
There was the original attempt to always deep interpret every word, this conceptually overfits. Newer methodologies let go the temptation to interpret every word completely.
Broadly in NLP there are problem categories as syntactic processing, semantic processing, context modelling, and response generation.
The problems can be solve sequentially or independently using a joint probabilistic approach.

NLP之情感分析：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)

 

 

 

 

目录

输出结果

设计思路

相关资料

1、关于代码

2、关于数据集

关于留言

1、留言内容的注意事项

2、如何留言？

2.1、第一种方法——在对应的博客下留言

2.2、备用第二种方法——论坛发帖

后续补充发放资料的说明

主要部分代码实现

 

 

输出结果

1、测试对象

data1= '今天上海的天气真好！我的心情非常高兴！如果去旅游的话我会非常兴奋！和你一起去旅游我会更加幸福！'

data2= '今天上海天气真差,非常讨厌下雨,把我冻坏了,心情太不高兴了,不高兴,我真的很生气！'

data3= '美国华裔科学家,祖籍江苏扬州市高邮县,生于上海,斯坦福大学物理系,电子工程系和应用物理系终身教授!'

2、输出结果

很明显，data1情感更加积极！data2情感消极！data3情感中等！

[[240.0, 104.0, 8.3, 3.6, 8.0, 2.4]]

[[0.0, 134.0, 0.0, 4.8, 0.0, 3.2]]

[[2, 66, 0.1, 3.3, 0.4, 1.7]]

[[2, 2, 0.1, 0.1, 0.4, 0.4]]

 

设计思路

后期更新……

 

 

相关资料

1、关于代码

NLP之情感分析：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)之全部代码

 

2、关于数据集

如需数据集，请留言向博主索取。
注：当前为学生身份的网友，可留言向博主索取。非学生身份的社会人士，请靠积分下载！





 

 

关于留言

1、留言内容的注意事项

1、请新增评论，不要直接回复，折叠后，我容易看不到，会漏掉。
	
2、请在前缀加一个索取资料的当天日期。
	
3、切记要留下邮箱！！！
比如留言：“20200307，早上10.11，你好，博主，我的邮箱是，我想索取……”

 



2、如何留言？

2.1、第一种方法——在对应的博客下留言

即在本博客下直接留言即可！

 

2.2、备用第二种方法——论坛发帖

在我的论坛中发帖即可，我会及时回复。

地址：https://bbs.csdn.net/topics/395531480

 

 

后续补充发放资料的说明

此类网友，太伤人心，这位网友，一定不是大学生，当代大学生的素质肯定比这位网友高的多。



 

主要部分代码实现

import jieba
import numpy as np

……


def sentiment_score_list(dataset):
    seg_sentence = dataset.split('。')

    count1 = []
    count2 = []
    for sen in seg_sentence: #循环遍历每一个评论
        segtmp = jieba.lcut(sen, cut_all=False)  #把句子进行分词，以列表的形式返回
        i = 0 #记录扫描到的词的位置
        a = 0 #记录情感词的位置
        poscount = 0 #积极词的第一次分值
        poscount2 = 0 #积极词反转后的分值
        poscount3 = 0 #积极词的最后分值（包括叹号的分值）
        negcount = 0
        negcount2 = 0
        negcount3 = 0
        for word in segtmp:
            if word in posdict:  # 判断词语是否是情感词
                poscount += 1
                c = 0
                for w in segtmp[a:i]:  # 扫描情感词前的程度词
                    if w in mostdict:
                        poscount *= 4.0
                    elif w in verydict:
                        poscount *= 3.0
                    elif w in moredict:
                        poscount *= 2.0
                    elif w in ishdict:
                        poscount *= 0.5
                    elif w in deny_word:
                        c += 1
                if judgeodd(c) == 'odd':  # 扫描情感词前的否定词数
                    poscount *= -1.0
                    poscount2 += poscount
                    poscount = 0
                    poscount3 = poscount + poscount2 + poscount3
                    poscount2 = 0
                else:
                    poscount3 = poscount + poscount2 + poscount3
                    poscount = 0
                a = i + 1  # 情感词的位置变化

            elif word in negdict:  # 消极情感的分析，与上面一致
                negcount += 1
                d = 0
                for w in segtmp[a:i]:
                    if w in mostdict:
                        negcount *= 4.0
                    elif w in verydict:
                        negcount *= 3.0
                    elif w in moredict:
                        negcount *= 2.0
                    elif w in ishdict:
                        negcount *= 0.5
                    elif w in degree_word:
                        d += 1
                if judgeodd(d) == 'odd':
                    negcount *= -1.0
                    negcount2 += negcount
                    negcount = 0
                    negcount3 = negcount + negcount2 + negcount3
                    negcount2 = 0
                else:
                    negcount3 = negcount + negcount2 + negcount3
                    negcount = 0
                a = i + 1
            elif word == '！' or word == '!':  ##判断句子是否有感叹号
                for w2 in segtmp[::-1]:  # 扫描感叹号前的情感词，发现后权值+2，然后退出循环
                    if w2 in posdict or negdict:
                        poscount3 += 2
                        negcount3 += 2
                        break
            i += 1 # 扫描词位置前移


            # 以下是防止出现负数的情况
            pos_count = 0
            neg_count = 0
            if poscount3 < 0 and negcount3 > 0:
                neg_count += negcount3 - poscount3
                pos_count = 0
            elif negcount3 < 0 and poscount3 > 0:
                pos_count = poscount3 - negcount3
                neg_count = 0
            elif poscount3 < 0 and negcount3 < 0:
                neg_count = -poscount3
                pos_count = -negcount3
            else:
                pos_count = poscount3
                neg_count = negcount3

            count1.append([pos_count, neg_count])
        count2.append(count1)
        count1 = []

    return count2

def sentiment_score(senti_score_list):
    score = []
    for review in senti_score_list:
        score_array = np.array(review)
        Pos = np.sum(score_array[:, 0])
        Neg = np.sum(score_array[:, 1])
        AvgPos = np.mean(score_array[:, 0])
        AvgPos = float('%.1f'%AvgPos)
        AvgNeg = np.mean(score_array[:, 1])
        AvgNeg = float('%.1f'%AvgNeg)
        StdPos = np.std(score_array[:, 0])
        StdPos = float('%.1f'%StdPos)
        StdNeg = np.std(score_array[:, 1])
        StdNeg = float('%.1f'%StdNeg)
        score.append([Pos, Neg, AvgPos, AvgNeg, StdPos, StdNeg])
    return score



data1= '今天上海的天气真好！我的心情非常高兴！如果去旅游的话我会非常兴奋！和你一起去旅游我会更加幸福！'
data2= '今天上海天气真差,非常讨厌下雨,把我冻坏了,心情太不高兴了,不高兴,我真的很生气！'
data3= '美国华裔科学家,祖籍江苏扬州市高邮县,生于上海,斯坦福大学物理系,电子工程系和应用物理系终身教授!'
print(sentiment_score(sentiment_score_list(data1)))
print(sentiment_score(sentiment_score_list(data2)))
print(sentiment_score(sentiment_score_list(data3)))

 

文章目录
15套免费的NLP课程及经典教材分享！
1、自然语言处理圣经---《自然语言处理综论》
2、视频课程《深度学习与自然语言处理-2018》
3、Natural Language Processing (NLP)
4、吴恩达经典课程 - Machine Learning —Coursera
5、斯坦福 Natural Language Processing with Deep Learning
6、Coursea免费课程 - Sequence Models for Time Series and Natural Language Processing
7、免费课程《深度自然语言处理》- Hilary Term 2017 at the University of Oxford
8、免费课程《基于Python的自然语言处理基础课程》- Datacamp
9、 Coursera免费课程《自然语言处理》- Higher School of Economics
10、 Coursera免费课程《不需要写代码如何搭建Chatbot》- IBM
11、 CS 388 -《自然语言处理》- University of Texas
12、 书籍《基于Python的自然语言处理》
13、 视频课程自然语言处理 - University of Washington
14、Dan Jurafsky & Chris Manning: Natural Language Processing
15、 NATURAL LANGUAGE PROCESSING - Carnegie Mellon University

15套免费的NLP课程及经典教材分享！
1、自然语言处理圣经—《自然语言处理综论》


Dan Jurafsky and James Martin

https://web.stanford.edu/~jurafsky/slp3/
2、视频课程《深度学习与自然语言处理-2018》


Richard Socher (Stanford University)

https://www.youtube.com/playlist?list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6
3、Natural Language Processing (NLP)


Microsoft
https://www.edx.org/course/natural-language-processing-3
4、吴恩达经典课程 - Machine Learning —Coursera


https://www.coursera.org/learn/machine-learning/home/welcome
5、斯坦福 Natural Language Processing with Deep Learning


视频：https://www.youtube.com/playlist?list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6

课程资源：http://web.stanford.edu/class/cs224n/
6、Coursea免费课程 - Sequence Models for Time Series and Natural Language Processing


https://www.coursera.org/learn/sequence-models-tensorflow-gcp?ranMID=40328&ranEAID=SAyYsTvLiGQ&ranSiteID=SAyYsTvLiGQ-ACNikbtJvh2d5Evme5yZQA&siteID=SAyYsTvLiGQ-ACNikbtJvh2d5Evme5yZQA&utm_content=10&utm_medium=partners&utm_source=linkshare&utm_campaign=SAyYsTvLiGQ
7、免费课程《深度自然语言处理》- Hilary Term 2017 at the University of Oxford


http://www.cs.ox.ac.uk/teaching/courses/2016-2017/dl/
8、免费课程《基于Python的自然语言处理基础课程》- Datacamp


https://www.datacamp.com/courses/natural-language-processing-fundamentals-in-python
9、 Coursera免费课程《自然语言处理》- Higher School of Economics


https://www.coursera.org/learn/language-processing?
10、 Coursera免费课程《不需要写代码如何搭建Chatbot》- IBM


https://www.coursera.org/learn/how-to-build-your-own-chatbot-without-coding
11、 CS 388 -《自然语言处理》- University of Texas


https://www.cs.utexas.edu/~mooney/cs388/
12、 书籍《基于Python的自然语言处理》


http://www.nltk.org/book/
13、 视频课程自然语言处理 - University of Washington


https://courses.cs.washington.edu/courses/csep517/17sp/
14、Dan Jurafsky & Chris Manning: Natural Language Processing


视频：https://www.youtube.com/playlist?list=PL8FFE3F391203C98C
15、 NATURAL LANGUAGE PROCESSING - Carnegie Mellon University


http://demo.clab.cs.cmu.edu/NLP/