原始需求：

有联系人名字为‘张三’、‘张三丰’，搜索‘ZS’可以通过系统提供的Contacts.CONTENT_FILTER_URI搜索到。但是匹配字符串高亮时，无法智能将‘张三’高亮。



细化需求

需要将中文转换为拼音
提取拼音的首字母以及所对应原字符串的index
获取匹配首字母所对应原字符串的index
根据index高亮字符串
资源库

由于需要将汉字转换为拼音，因此需要引入谷歌ContactsProvider源码里的core-libart.jar包和里面的一个源代码类：HanziToPinyin.java。想用最新的可以在谷歌源码里找到。

要是报错：Conversion to Dalvik format failed with error 1 

在项目中新建一个文件夹mylib，把core-libart.jar从libs中移动到新建的mylib中，并右键add to build path



代码

添加一个数据类，用来存储匹配成功的字符下标。



public class HighlightIndex {
    public final int start;
    public final int end;
    public HighlightIndex(int start, int end) {
        this.start = start;
        this.end = end;
    }
}



核心代码

先获取中文全拼，再提取出首字母成一个姓名缩写字符串，在通过关键字匹配姓名缩写，最后将匹配成功的字符对应上原始字符串的下标。

/**
     * 获取首字母缩略字符匹配的下标
     * @param input 原字符串
     * @param prefix 高亮字符串
     * @return 原字符串需要高亮的下标位置（start和end）List
     * @author zhuxh2
     * */
    public static ArrayList<HighlightIndex> getAcronym(String input, String prefix) {

        ArrayList<Token> tokens = HanziToPinyin.getInstance().getTokens(input);
        //姓名缩写
        StringBuilder acronym = new StringBuilder();
        //缩写字母index
        ArrayList<HighlightIndex> indexs = new ArrayList<HighlightIndex>();
        //匹配后的缩写字母index
        ArrayList<HighlightIndex> indexsResult = new ArrayList<HighlightIndex>();

        int index = 0;
        if (tokens != null && tokens.size() > 0) {
            for (Token token : tokens) {
                if (Token.PINYIN == token.type) {
                    acronym.append(token.target.charAt(0));
                    indexs.add(new HighlightIndex(index, index+1));
                    index++;
                } else {
                    acronym.append(token.source.charAt(0));
                    indexs.add(new HighlightIndex(index, index+1));
                    index = index + token.source.length();
                    while(index < input.length() && input.charAt(index) == ' ')
                        index++;
                }
            }
            int start = indexOfWordPrefix(acronym, prefix);
            if(start != -1)
                for(int j = start; j < start + prefix.length(); j++) {
                    indexsResult.add(indexs.get(j));
                }

        }
        return indexsResult;
    }

说一大堆没有直接来个源码干脆清晰 

没有源码的技术博客不是好猿猴 
附上源码

Kt是速度单位，是英文knots的缩写，中文名字叫“节”。此速度单位常用于航海、航空等领域。例如：船舶的航行速度一般国际上都均采用“海里/小时”计算，简称为xx节。

美国海军陆战等国家，故飞机的速度有时也用Kt表示。

换算公式：
1Kt=1n mile/h=1.852Km/h。

1节=1海里/小时=1.852公里/小时。

中文名：节，海里/小时
	
外文名：Kt，n mile/h

最近需要从文本中抽取结构化信息，收集到很多数据，遂整理了一下，后续会不断更新。

涉及内容包括：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据。



下载地址：https://download.csdn.net/download/m0_38106923/10804731

 

NLP资源汇总和工具汇总
涉及内容包括：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度匹配算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电话号码正则匹配、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLU太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料、cs224n深度学习自然语言处理课程、中文手写汉字识别、中文自然语言处理 语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR 语音数据集 + 基于深度学习的中文语音识别系统、笑声检测器、Microsoft多语言数字/单位/如日期时间识别包、中华新华字典数据库及api(包括常用歇后语、成语、词语和汉字)、文档图谱自动生成、SpaCy 中文模型、Common Voice语音识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事件三元组抽取、依存句法分析4万句高质量标注数据、cnocr：用来做中文OCR的Python3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码汇总、中文字符数据、speech-aligner: 从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具、AmpliGraph: 知识图谱表示学习(Python)库：知识图谱概念链接预测、Scattertext 文本可视化(python)、语言/知识表示工具：BERT & ERNIE、中文对比英文自然语言处理NLP的区别综述、Synonyms中文近义词工具包、HarvestText领域自适应文本挖掘工具（新词发现-情感分析-实体链接等）、word2word：(Python)方便易用的多语言词-词对集：62种语言/3,564个多语言对、语音识别语料生成工具：从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库、构建医疗实体识别的模型（包含词典和语料标注）、单文档非监督的关键词抽取、Kashgari中使用gpt-2语言模型、开源的金融投资数据提取工具、文本自动摘要库TextTeaser: 仅支持英文、人民日报语料处理工具集、一些关于自然语言的基本模型、基于14W歌曲知识库的问答尝试–功能包括歌词接龙and已知歌词找歌曲以及歌曲歌手歌词三角关系的问答、基于Siamese bilstm模型的相似句子判定模型并提供训练数据集和测试数据集、用Transformer编解码模型实现的根据Hacker News文章标题自动生成评论、用BERT进行序列标记和文本分类的模板代码、LitBank：NLP数据集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料、百度开源的基准信息抽取系统、虚假新闻数据集、Facebook: LAMA语言模型分析，提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口、CommonsenseQA：面向常识的英文QA挑战、中文知识图谱资料、数据及工具、各大公司内部里大牛分享的技术文档 PDF 或者 PPT、自然语言生成SQL语句（英文）、中文NLP数据增强（EDA）工具、英文NLP数据增强工具 、基于医药知识图谱的智能问答系统、京东商品知识图谱、基于mongodb存储的军事领域知识图谱问答项目、基于远监督的中文关系抽取、语音情感分析、中文ULMFiT-情感分析-文本分类-语料及模型、一个拍照做题程序、世界各国大规模人名库、一个利用有趣中文语料库 qingyun 训练出来的中文聊天机器人、中文聊天机器人seqGAN、省市区镇行政区划数据带拼音标注、教育行业新闻语料库包含自动文摘功能、开放了对话机器人-知识图谱-语义理解-自然语言处理工具及数据、中文知识图谱：基于百度百科中文页面-抽取三元组信息-构建中文知识图谱、masr: 中文语音识别-提供预训练模型-高识别率、Python音频数据增广库、中文全词覆盖BERT及两份阅读理解数据、ConvLab：开源多域端到端对话系统平台、中文自然语言处理数据集、基于最新版本rasa搭建的对话系统、基于TensorFlow和BERT的管道式实体及关系抽取、一个小型的证券知识图谱/知识库、复盘所有NLP比赛的TOP方案、OpenCLaP：多领域开源中文预训练语言模型仓库、UER：基于不同语料+编码器+目标任务的中文预训练模型仓库、中文自然语言处理向量合集、基于金融-司法领域(兼有闲聊性质)的聊天机器人、g2pC：基于上下文的汉语读音自动标记模块、Zincbase 知识图谱构建工具包、诗歌质量评价/细粒度情感诗歌语料库、快速转化「中文数字」和「阿拉伯数字」、百度知道问答语料库、基于知识图谱的问答系统、jieba_fast 加速版的jieba、正则表达式教程、中文阅读理解数据集、基于BERT等最新语言模型的抽取式摘要提取、Python利用深度学习进行文本摘要的综合指南、知识图谱深度学习相关资料整理、维基大规模平行文本语料、StanfordNLP 0.2.0：纯Python版自然语言处理包、NeuralNLP-NeuralClassifier：腾讯开源深度学习文本分类工具、端到端的封闭域对话系统。
1. textfilter: 中英文敏感词过滤  observerss/textfilter
 >>> f = DFAFilter()
 >>> f.add("sexy")
 >>> f.filter("hello sexy baby")
 hello **** baby

敏感词包括政治、脏话等话题词汇。其原理主要是基于词典的查找（项目中的keyword文件），内容很劲爆。。。
2. langid：97种语言检测 https://github.com/saffsd/langid.py

pip install langid

>>> import langid
>>> langid.classify("This is a test")
('en', -54.41310358047485)

3. langdetect：另一个语言检测https://code.google.com/archive/p/language-detection/

pip install langdetect

from langdetect import detect
from langdetect import detect_langs

s1 = "本篇博客主要介绍两款语言探测工具，用于区分文本到底是什么语言，"
s2 = 'We are pleased to introduce today a new technology'
print(detect(s1))
print(detect(s2))
print(detect_langs(s3))    # detect_langs()输出探测出的所有语言类型及其所占的比例

输出结果如下： 注：语言类型主要参考的是ISO 639-1语言编码标准，详见ISO 639-1百度百科
跟上一个语言检测比较，准确率低，效率高。
4. phone 中国手机归属地查询： ls0f/phone

已集成到 python package cocoNLP中，欢迎试用

from phone import Phone
p  = Phone()
p.find(18100065143)
#return {'phone': '18100065143', 'province': '上海', 'city': '上海', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}

支持号段: 13*,15*,18*,14[5,7],17[0,6,7,8]
记录条数: 360569 (updated:2017年4月)
作者提供了数据phone.dat 方便非python用户Load数据。
5. phone国际手机、电话归属地查询：AfterShip/phone

npm install phone

import phone from 'phone';
phone('+852 6569-8900'); // return ['+85265698900', 'HKG']
phone('(817) 569-8900'); // return ['+18175698900, 'USA']

6. ngender 根据名字判断性别：observerss/ngender 基于朴素贝叶斯计算的概率

pip install ngender

>>> import ngender
>>> ngender.guess('赵本山')
('male', 0.9836229687547046)
>>> ngender.guess('宋丹丹')
('female', 0.9759486128949907)

7. 抽取email的正则表达式

已集成到 python package cocoNLP中，欢迎试用

email_pattern = '^[*#\u4e00-\u9fa5 a-zA-Z0-9_.-]+@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)*\.[a-zA-Z0-9]{2,6}$'
emails = re.findall(email_pattern, text, flags=0)

8. 抽取phone_number的正则表达式

已集成到 python package cocoNLP中，欢迎试用

cellphone_pattern = '^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$'
phoneNumbers = re.findall(cellphone_pattern, text, flags=0)

9. 抽取身份证号的正则表达式
IDCards_pattern = r'^([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$'
IDs = re.findall(IDCards_pattern, text, flags=0)

10.  人名语料库： wainshine/Chinese-Names-Corpus

人名抽取功能 python package cocoNLP，欢迎试用

中文（现代、古代）名字、日文名字、中文的姓和名、称呼（大姨妈、小姨妈等）、英文->中文名字（李约翰）、成语词典

（可用于中文分词、姓名识别）
11. 中文缩写库：github
全国人大: 全国/n 人民/n 代表大会/n
中国: 中华人民共和国/ns
女网赛: 女子/n 网球/n 比赛/vn

12. 汉语拆字词典：kfcd/chaizi
漢字	拆法 (一)	拆法 (二)	拆法 (三)
拆	手 斥	扌 斥	才 斥

13. 词汇情感值：rainarch/SentiBridge
山泉水	充沛	0.400704566541	0.370067395878
视野	        宽广	0.305762728932	0.325320747491
大峡谷	惊险	0.312137906517	0.378594957281

14. 中文词库、停用词、敏感词 dongxiexidian/Chinese
此package的敏感词库分类更细：
反动词库， 敏感词库表统计， 暴恐词库， 民生词库， 色情词库
15. 汉字转拼音：mozillazg/python-pinyin
文本纠错会用到
16. 中文繁简体互转：skydark/nstools
17. 英文模拟中文发音引擎 funny chinese text to speech enginee：tinyfool/ChineseWithEnglish
say wo i ni
#说：我爱你

相当于用英文音标，模拟中文发音。
18. 汪峰歌词生成器：phunterlau/wangfeng-rnn
我在这里中的夜里
就像一场是一种生命的意旪
就像我的生活变得在我一样
可我们这是一个知道
我只是一天你会怎吗

19. 同义词库、反义词库、否定词库：guotong1988/chinese_dictionary
20. 无空格英文串分割、抽取单词：wordinja
>>> import wordninja
>>> wordninja.split('derekanderson')
['derek', 'anderson']
>>> wordninja.split('imateapot')
['im', 'a', 'teapot']

21. IP地址正则表达式：
(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)

22. 腾讯QQ号正则表达式：
[1-9]([0-9]{5,11})

23. 国内固话号码正则表达式：
[0-9-()（）]{7,18}

24. 用户名正则表达式：
[A-Za-z0-9_\-\u4e00-\u9fa5]+

25. 汽车品牌、汽车零件相关词汇：
见本repo的data文件 [data](https://github.com/fighting41love/funNLP/tree/master/data)

26. 时间抽取：

已集成到 python package cocoNLP中，欢迎试用

在2016年6月7日9:44执行測試，结果如下

Hi，all。下周一下午三点开会

>> 2016-06-13 15:00:00-false

周一开会

>> 2016-06-13 00:00:00-true

下下周一开会

>> 2016-06-20 00:00:00-true

java version
python version
27. 各种中文词向量： github repo
中文词向量大全
28. 公司名字大全： github repo
29. 古诗词库： github repo 更全的古诗词库
30. THU整理的词库： link
已整理到本repo的data文件夹中.
IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库

31. 中文聊天语料 link
该库搜集了包含:豆瓣多轮, PTT八卦语料, 青云语料, 电视剧对白语料, 贴吧论坛回帖语料,微博语料,小黄鸡语料

32. 中文谣言数据: github
该数据文件中，每一行为一条json格式的谣言数据，字段释义如下：

rumorCode: 该条谣言的唯一编码，可以通过该编码直接访问该谣言举报页面。
title: 该条谣言被举报的标题内容
informerName: 举报者微博名称
informerUrl: 举报者微博链接
rumormongerName: 发布谣言者的微博名称
rumormongerUr: 发布谣言者的微博链接
rumorText: 谣言内容
visitTimes: 该谣言被访问次数
result: 该谣言审查结果
publishTime: 该谣言被举报时间

33. 情感波动分析：github
词库已整理到本repo的data文件夹中.
本repo项目是一个通过与人对话获得其情感值波动图谱, 内用词库在data文件夹中.

34. 百度中文问答数据集：链接 提取码: 2dva
35. 句子、QA相似度匹配:MatchZoo  github
文本相似度匹配算法的集合，包含多个深度学习的方法，值得尝试。
36. bert资源：

bert论文中文翻译: link



bert原作者的slides: link

提取码: iarj


文本分类实践: github


bert tutorial文本分类教程: github


bert pytorch实现:  github


bert用于中文命名实体识别 tensorflow版本: github


BERT生成句向量，BERT做文本分类、文本相似度计算github


bert 基于 keras 的封装分类标注框架 Kashgari，几分钟即可搭建一个分类或者序列标注模型: github


bert、ELMO的图解： github


BERT: Pre-trained models and downstream applications: github


37. Texar - Toolkit for Text Generation and Beyond: github
基于Tensorflow的开源工具包，旨在支持广泛的机器学习，特别是文本生成任务，如机器翻译、对话、摘要、内容处置、语言建模等
38. 中文事件抽取： github
中文复合事件抽取，包括条件事件、因果事件、顺承事件、反转事件等事件抽取，并形成事理图谱。
39. cocoNLP: github
人名、地址、邮箱、手机号、手机归属地 等信息的抽取，rake短语抽取算法。

pip install cocoNLP

>>> from cocoNLP.extractor import extractor

>>> ex = extractor()

>>> text = '急寻特朗普，男孩，于2018年11月27号11时在陕西省安康市汉滨区走失。丢失发型短发，...如有线索，请迅速与警方联系：18100065143，132-6156-2938，baizhantang@sina.com.cn 和yangyangfuture at gmail dot com'

# 抽取邮箱
>>> emails = ex.extract_email(text)
>>> print(emails)

['baizhantang@sina.com.cn', 'yangyangfuture@gmail.com.cn']
# 抽取手机号
>>> cellphones = ex.extract_cellphone(text,nation='CHN')
>>> print(cellphones)

['18100065143', '13261562938']
# 抽取手机归属地、运营商
>>> cell_locs = [ex.extract_cellphone_location(cell,'CHN') for cell in cellphones]
>>> print(cell_locs)

cellphone_location [{'phone': '18100065143', 'province': '上海', 'city': '上海', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}]
# 抽取地址信息
>>> locations = ex.extract_locations(text)
>>> print(locations)
['陕西省安康市汉滨区', '安康市汉滨区', '汉滨区']
# 抽取时间点
>>> times = ex.extract_time(text)
>>> print(times)
time {"type": "timestamp", "timestamp": "2018-11-27 11:00:00"}
# 抽取人名
>>> name = ex.extract_name(text)
>>> print(name)
特朗普


40. 国内电话号码正则匹配（三大运营商+虚拟等）: github
41. 清华大学XLORE:中英文跨语言百科知识图谱: link

上述链接中包含了所有实体及关系的TTL文件，更多数据将在近期发布。

概念，实例，属性和上下位关系数目





百度
中文维基
英文维基
总数




概念数量
32,009
150,241
326,518
508,768


实例数量
1,629,591
640,622
1,235,178
3,505,391


属性数量
157,370
45,190
26,723
229.283


InstanceOf
7,584,931
1,449,925
3,032,515
12,067,371


SubClassOf
2,784
191,577
555,538
749,899


跨语言连接（概念/实例）





百度
中文维基
英文维基




百度
-
10,216/336,890
4,846/303,108


中文维基
10,216/336,890
-
28,921/454,579


英文维基
4,846/303,108
28,921/454,579
-


42. 清华大学人工智能技术系列报告： link

每年会出AI领域相关的报告，内容包含

自然语言处理 link
知识图谱 link
数据挖掘 link
自动驾驶 link
机器翻译 link
区块链 link
机器人 link
计算机图形学 link
3D打印 link
人脸识别 link
人工智能芯片 link
等等

43.自然语言生成方面:

Ehud Reiter教授的博客  北大万小军教授强力推荐，该博客对NLG技术、评价与应用进行了深入的探讨与反思。

文本生成相关资源大列表

自然语言生成：让机器掌握自动创作的本领 - 开放域对话生成及在微软小冰中的实践

文本生成控制
44.:

jieba和hanlp就不必介绍了吧。
45.NLP太难了系列: github

来到杨过曾经生活过的地方，小龙女动情地说：“我也想过过过儿过过的生活。” ​​​
来到儿子等校车的地方，邓超对孙俪说：“我也想等等等等等过的那辆车。”
赵敏说：我也想控忌忌己不想无忌。
你也想犯范范范玮琪犯过的错吗
对叙打击是一次性行为？

46.自动对联数据及机器人:

70万对联数据 link

代码 link




上联
下联




殷勤怕负三春意
潇洒难书一字愁


如此清秋何吝酒
这般明月不须钱


47.用户名黑名单列表： github

包含了用户名禁用列表，比如: link
administrator
administration
autoconfig
autodiscover
broadcasthost
domain
editor
guest
host
hostmaster
info
keybase.txt
localdomain
localhost
master
mail
mail0
mail1

48.罪名法务名词及分类模型:   github
包含856项罪名知识图谱, 基于280万罪名训练库的罪名预测,基于20W法务问答对的13类问题分类与法律资讯问答功能

49.微信公众号语料: github
3G语料，包含部分网络抓取的微信公众号的文章，已经去除HTML，只包含了纯文本。每行一篇，是JSON格式，name是微信公众号名字，account是微信公众号ID，title是题目，content是正文
50.cs224n深度学习自然语言处理课程：link

课程中模型的pytorch实现 link
面向深度学习研究人员的自然语言处理实例教程 link

51.中文手写汉字识别：github
52.中文自然语言处理 语料/数据集：github

竞品：THUOCL（THU Open Chinese Lexicon）中文词库
53.变量命名神器：github link
54.分词语料库+代码：百度网盘链接

提取码: pea6
keras实现的基于Bi-LSTM + CRF的中文分词+词性标注
基于Universal Transformer + CRF 的中文分词和词性标注
快速神经网络分词包 java version

55. NLP新书推荐《Natural Language Processing》by Jacob Eisenstein： link
56. 任务型对话英文数据集：   github

【最全任务型对话数据集】主要介绍了一份任务型对话数据集大全，这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的主要信息。此外，为了帮助研究者更好的把握领域进展的脉络，我们以Leaderboard的形式给出了几个数据集上的State-of-the-art实验结果。
57. ASR 语音数据集 + 基于深度学习的中文语音识别系统：  github


Data Sets 数据集


清华大学THCHS30中文语音数据集
data_thchs30.tgz

OpenSLR国内镜像

OpenSLR国外镜像
test-noise.tgz

OpenSLR国内镜像

OpenSLR国外镜像
resource.tgz

OpenSLR国内镜像

OpenSLR国外镜像


Free ST Chinese Mandarin Corpus
ST-CMDS-20170001_1-OS.tar.gz

OpenSLR国内镜像

OpenSLR国外镜像


AIShell-1 开源版数据集
data_aishell.tgz

OpenSLR国内镜像

OpenSLR国外镜像


注：数据集解压方法
$ tar xzf data_aishell.tgz
$ cd data_aishell/wav
$ for tar in *.tar.gz;  do tar xvf $tar; done



Primewords Chinese Corpus Set 1
primewords_md_2018_set1.tar.gz

OpenSLR国内镜像

OpenSLR国外镜像




58. 笑声检测器：  github
59. Microsoft多语言数字/单位/如日期时间识别包： [github](https://github.com/Microsoft/Recognizers-Text
60. chinese-xinhua 中华新华字典数据库及api，包括常用歇后语、成语、词语和汉字 github
61. 文档图谱自动生成 github

TextGrapher - Text Content Grapher based on keyinfo extraction by NLP method。输入一篇文档，将文档进行关键信息提取，进行结构化，并最终组织成图谱组织形式，形成对文章语义信息的图谱化展示

62. SpaCy 中文模型 github

包含Parser, NER, 语法树等功能。有一些英文package使用spacy的英文模型的，如果要适配中文，可能需要使用spacy中文模型。

63. Common Voice语音识别数据集新版  link

包括来自42,000名贡献者超过1,400小时的语音样本，涵github

64. 神经网络关系抽取 pytorch  github

暂不支持中文

65. 基于bert的命名实体识别 pytorch  github

暂不支持中文

66. 关键词(Keyphrase)抽取包 pke  github

pke: an open source python-based keyphrase extraction toolkit

暂不支持中文，我于近期对其进行修改，使其适配中文。

请关注我的github动态，谢谢！

67. 基于医疗领域知识图谱的问答系统  github

该repo参考了github

68. 基于依存句法与语义角色标注的事件三元组抽取  github
69. 依存句法分析4万句高质量标注数据 by 苏州大学汉语依存树库（SUCDT）

Homepage

数据下载详见homepage底部，需要签署协议，需要邮件接收解压密码。
70. cnocr：用来做中文OCR的Python3包，自带了训练好的识别模型 github
71. 中文人物关系知识图谱项目 github

中文人物关系图谱构建
基于知识库的数据回标
基于远程监督与bootstrapping方法的人物关系抽取
基于知识图谱的知识问答等应用

72. 中文nlp竞赛项目及代码汇总 github

文本生成、文本摘要：Byte Cup 2018 国际机器学习竞赛
知识图谱：瑞金医院MMC人工智能辅助构建知识图谱大赛
视频识别 问答：2018之江杯全球人工智能大赛

：视频识别&问答

73. 中文字符数据 github

简/繁体汉字笔顺
矢量笔画

74. speech-aligner: 从“人声语音”及其“语言文本”，产生音素级别时间对齐标注的工具 github
75. AmpliGraph: 知识图谱表示学习(Python)库：知识图谱概念链接预测 github

埃森哲出品，目前尚不支持中文

76. Scattertext 文本可视化(python) github

很好用的工具包，简单修改后可支持中文
能否分析出某个类别的文本与其他文本的用词差异

77. 语言/知识表示工具：BERT & ERNIE github

百度出品，ERNIE也号称在多项nlp任务中击败了bert

78. 中文对比英文自然语言处理NLP的区别综述 link
79. Synonyms中文近义词工具包 github

Synonyms 中文近义词工具包，可以用于自然语言理解的很多任务：文本对齐，推荐算法，相似度计算，语义偏移，关键字提取，概念提取，自动摘要，搜索引擎等

80. HarvestText领域自适应文本挖掘工具（新词发现-情感分析-实体链接等） github
81. word2word：(Python)方便易用的多语言词-词对集：62种语言/3,564个多语言对 github
82. 语音识别语料生成工具：从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库 github
83. ASR语音大辞典/词典： github
84. 构建医疗实体识别的模型，包含词典和语料标注，基于python: github
85. 单文档非监督的关键词抽取： github
86. Kashgari中使用gpt-2语言模型 github
87.  开源的金融投资数据提取工具 github
88. 文本自动摘要库TextTeaser: 仅支持英文 github
89. 人民日报语料处理工具集 github
90. 一些关于自然语言的基本模型 github
91. 基于14W歌曲知识库的问答尝试，功能包括歌词接龙，已知歌词找歌曲以及歌曲歌手歌词三角关系的问答 github
92. 基于Siamese bilstm模型的相似句子判定模型,提供训练数据集和测试数据集 github

提供了10万个训练样本

93. 用Transformer编解码模型实现的根据Hacker News文章标题自动生成评论 github
94. 用BERT进行序列标记和文本分类的模板代码 github
95. LitBank：NLP数据集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料 github
96. 百度开源的基准信息抽取系统 github
97. 虚假新闻数据集 fake news corpus github
98. Facebook: LAMA语言模型分析，提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口 github
99. CommonsenseQA：面向常识的英文QA挑战 link
100. 中文知识图谱资料、数据及工具 github
101. 各大公司内部里大牛分享的技术文档 PDF 或者 PPT github
102. 自然语言生成SQL语句（英文） github
103. 中文NLP数据增强（EDA）工具 github

 英文NLP数据增强工具 github

104. 基于医药知识图谱的智能问答系统 github
105. 京东商品知识图谱 github

基于京东网站的1300种商品上下级概念，约10万商品品牌，约65万品牌销售关系，商品描述维度等知识库，基于该知识库可以支持商品属性库构建，商品销售问答，品牌物品生产等知识查询服务，也可用于情感分析等下游应用．

106. 基于mongodb存储的军事领域知识图谱问答项目 github

基于mongodb存储的军事领域知识图谱问答项目，包括飞行器、太空装备等8大类，100余小类，共计5800项的军事武器知识库，该项目不使用图数据库进行存储，通过jieba进行问句解析，问句实体项识别，基于查询模板完成多类问题的查询，主要是提供一种工业界的问答思想demo。

107. 基于远监督的中文关系抽取 github
108. 语音情感分析 github
109. 中文ULMFiT 情感分析 文本分类 语料及模型 github
110. 一个拍照做题程序。输入一张包含数学计算题的图片，输出识别出的数学计算式以及计算结果 github
111. 世界各国大规模人名库 github
112. 一个利用有趣中文语料库 qingyun 训练出来的中文聊天机器人 github

使用了青云语料10万语料，本repo中也有该语料的链接

113. 中文聊天机器人， 根据自己的语料训练出自己想要的聊天机器人，可以用于智能客服、在线问答、智能聊天等场景 github

根据自己的语料训练出自己想要的聊天机器人，可以用于智能客服、在线问答、智能聊天等场景。加入seqGAN版本。
repo中提供了一份质量不太高的语料

114. 省市区镇行政区划数据带拼音标注 github

国家统计局中的省市区镇行政区划数据带拼音标注，高德地图的坐标和行政区域边界范围，在浏览器里面运行js代码采集的2019年发布的最新数据，含采集源码，提供csv格式数据，支持csv转成省市区多级联动js代码
坐标、边界范围、名称、拼音、行政区等多级地址

115. 教育行业新闻 自动文摘 语料库 github
116. 开放了对话机器人、知识图谱、语义理解、自然语言处理工具及数据 github
117. 中文知识图谱：基于百度百科中文页面，抽取三元组信息，构建中文知识图谱 github
118. masr: 中文语音识别，提供预训练模型，高识别率 github
119. Python音频数据增广库 github
120. 中文全词覆盖BERT及两份阅读理解数据 github

DRCD数据集由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。
CMRC 2018数据集是哈工大讯飞联合实验室发布的中文机器阅读理解数据。根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。

121. ConvLab：开源多域端到端对话系统平台 github
122. 中文自然语言处理数据集 github
123. 基于最新版本rasa搭建的对话系统 github
124. 基于TensorFlow和BERT的管道式实体及关系抽取 github

Entity and Relation Extraction Based on TensorFlow and BERT. 基于TensorFlow和BERT的管道式实体及关系抽取，2019语言与智能技术竞赛信息抽取任务解决方案。Schema based Knowledge Extraction, SKE 2019

125. 一个小型的证券知识图谱/知识库 github
126. 复盘所有NLP比赛的TOP方案 github
127. OpenCLaP：多领域开源中文预训练语言模型仓库 github

包含如下语言模型及百度百科数据

民事文书BERT	bert-base	全部民事文书	2654万篇文书	22554词	370MB
刑事文书BERT	bert-base	全部刑事文书	663万篇文书	22554词	370MB
百度百科BERT	bert-base	百度百科	903万篇词条	22166词	367MB

128. UER：基于不同语料、编码器、目标任务的中文预训练模型仓库（包括BERT、GPT、ELMO等） github

基于PyTorch的预训练模型框架，支持对编码器，目标任务等进行任意的组合，从而复现已有的预训练模型，或在已有的预训练模型上进一步改进。基于UER训练了不同性质的预训练模型（不同语料、编码器、目标任务），构成了中文预训练模型仓库，适用于不同的场景。

129. 中文自然语言处理向量合集 github

包括字向量,拼音向量,词向量,词性向量,依存关系向量.共5种类型的向量

130. 基于金融-司法领域(兼有闲聊性质)的聊天机器人 github

其中的主要模块有信息抽取、NLU、NLG、知识图谱等，并且利用Django整合了前端展示,目前已经封装了nlp和kg的restful接口

131. g2pC：基于上下文的汉语读音自动标记模块 github
132. Zincbase 知识图谱构建工具包 github
133. 诗歌质量评价/细粒度情感诗歌语料库 github
134. 快速转化「中文数字」和「阿拉伯数字」 github

中文、阿拉伯数字互转
中文与阿拉伯数字混合的情况，在开发中

135. 百度知道问答语料库 github

超过580万的问题，938万的答案，5800个分类标签。基于该问答语料库，可支持多种应用，如闲聊问答，逻辑挖掘

136. 基于知识图谱的问答系统 github

BERT做命名实体识别和句子相似度，分为online和outline模式

137. jieba_fast 加速版的jieba github

使用cpython重写了jieba分词库中计算DAG和HMM中的vitrebi函数，速度得到大幅提升

138. 正则表达式教程 github
139. 中文阅读理解数据集 github
140. 基于BERT等最新语言模型的抽取式摘要提取 github
141. Python利用深度学习进行文本摘要的综合指南 link
142. 知识图谱深度学习相关资料整理 github

深度学习与自然语言处理、知识图谱、对话系统。包括知识获取、知识库构建、知识库应用三大技术研究与应用

143. 维基大规模平行文本语料 github

85种语言、1620种语言对、135M对照句

144. StanfordNLP 0.2.0：纯Python版自然语言处理包 link
145. NeuralNLP-NeuralClassifier：腾讯开源深度学习文本分类工具 github
146. 端到端的封闭域对话系统 github