import jieba
import gensim
from gensim import corpora
from gensim.matutils import corpus2dense

f = open("背影.txt", "r+")   #选取文档为中文的《背影》，将文档放在当前目录下
text1 = f.readlines()        #读取文件，按行读取，存入列表
read = text1
#text1 = f.read()            #直接全部读取，是一个字符串
#text1.splitlines()          #按照 /n 切分
f.close()
f = open("stop_words.txt", "r+", encoding="GBK") #读取停用词，网上随便下载即可，注意编码方式
text2 = f.read()
stop_word = text2.splitlines()
text = []
for i in range(len(read)):                       #逐行读取   
    seg_useful = []
    segs = jieba.cut(read[i])                    #结巴分词，注意结巴分词只能针对字符串，无法处理列表
    for seg in segs:
        if seg not in stop_word:                 #删除停用词
            seg_useful.append(seg)
    text.append(seg_useful)                      #收集有用的词

dictionary = corpora.Dictionary(text)            #建立字典
word_count = [dictionary.doc2bow(text[i]) for i in range(len(text))]    #建立文档-词项矩阵

dtm_matrix = corpus2dense(word_count, len(dictionary))   
dtm_matrix.T

from gensim import models
print(len(word_count))
tfidf_model = models.TfidfModel(word_count)     #建立tfidf模型
tfidf = tfidf_model[word_count]
print(tfidf)
tfidf_matrix = corpus2dense(tfidf, len(dictionary))
tfidf_matrix

model = gensim.models.Word2Vec(text, size=100, window=5, min_count=2)    #训练词向量
model.wv[u'月台']
因为库函数可能会更新，导致部分函数无法使用，所以使用时请注意时间，现在是2018/3/29

页面解析和数据提取
一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化的数据 和 结构化的数据。

非结构化数据：先有数据，再有结构，
结构化数据：先有结构、再有数据
不同类型的数据，我们需要采用不同的方式来处理。

非结构化的数据处理
文本、电话号码、邮箱地址

- 正则表达式

HTML 文件

正则表达式
XPath
CSS选择器

结构化的数据处理
JSON 文件

JSON Path
转化成Python类型进行操作（json类）

XML 文件
转化成Python类型（xmltodict）
XPath
CSS选择器
正则表达式

大数据分析和应用得到了各个行业的关注，人们试图从大量数据中发现蕴含的模式和规律，进而产生更多的价值，“数据”作为分析对象在这个过程中所起到的作用是决定性的。本文对结构化数据、非结构化数据、数据结构、关系型数据库、实体关系图、数据模型等我们熟悉的概念进行剖析，说明它们之间的联系和区别。指出非结构化数据处理是大数据分析技术的难点和重点，是提升大数据价值挖掘深度的宝剑，在大数据的教学、研究、学习和应用开发中，围绕非结构化数据处理应当成为核心和重点。
数据这个概念对于每个人来说，是再熟悉不过的，我们生活在数据的世界里，在将来智能发达的时代里更是一刻也离不开数据。然而在千变万化的各种数据中，是否存在一些稳定不变的本质? 在变化中寻找不变是科学探索的一条重要思维原则。
各种形式的数据可以归结为结构化数据、半结构化数据和非结构化数据三大种类。它们的区别在于数据的表示是否存在预先定义好的数据模型，因此什么是数据模型是深入理解大数据的关键。数据模型是一种抽象模型，用于表达数据含义的构成单元及其它们之间相互关系、数据与现实世界之间的对应关系。
数据模型包括三种相对独立的层次上的模型。
一是物理数据模型，表示了数据在计算机中存储的物理结构，通常是数据库中的分区、表空间、段、文件等。
二是逻辑数据模型，表示了数据在计算机中进行计算处理的逻辑结构，通常是数据表、列、对象、符号、树等。通常所说的数据结构是在计算机中高效存取和运算数据的一种表示方法，是逻辑数据模型的组织形式，选择好一个数据结构能加快计算过程。
三是概念数据模型，表示了数据所表达的事实，即它们与现实世界的关系，通常是实体、属性、实体关系等。有时候也称为语义数据模型，是数据在现实世界的真实表示。
例如对于计算机来说，“图书”只是一个字符串，如何让计算机知道它所代表的现实含义，这就需要数据模型要能够表达数据与现实世界的映射关系，由此，可能要告诉计算机出版社印刷的那种东西，进一步要告诉计算机什么是“出版社”。
在逻辑数据模型方面，对于数据库管理系统（SQL、NoSQL）来说，其实现的逻辑数据模型包括单表模型、层次模型、网络模型、关系模型等，后两者分别对应于我们非常熟悉的图数据库、关系型数据库。但是，不管是层次、网络、关系或其他类型的逻辑数据模型，都无法完全满足数据的概念定义要求。这是因为它所能表达的范围是有限的，并且偏向于DBMS所使用的实现策略。
在概念数据模型方面，实体关系模型是广泛被接受的模型之一，用于软件工程中表示结构化数据。通常使用图形方式来表达，如图所示是一个实体关系模型例子。
“图书”作为一种逻辑数据模型，由“书名”、“作者”、“出版社”、“出版日期”等单元构成，“作者”、“出版社”也具有各自的实体描述。这种结构化数据形式可以转化为关系型数据库中的表，如book(name, author, publisher, publish_date)，存储到该表中的图书具有统一的预先设定好的模型。不管是曾剑平编著的书，还是吴军编著的书，最后都必须结构化为如下四元组的形式。
“图书”作为一种逻辑数据模型，由“书名”、“作者”、“出版社”、“出版日期”等单元构成，“作者”、“出版社”也具有各自的实体描述。这种结构化数据形式可以转化为关系型数据库中的表，如book(name, author, publisher, publish_date)，存储到该表中的图书具有统一的预先设定好的模型。不管是曾剑平编著的书，还是吴军编著的书，最后都必须结构化为如下四元组的形式。
结构化数据：
（互联网大数据处理技术与应用，曾剑平，清华大学出版社，2017）
（数学之美，吴军、人民邮电出版社，2014）
而对于非结构化数据的表述方式，则不存在这样的结构。由于缺乏统一的结构限制，同样的含义就有不同的叙述方式，以下的文本表述就表达了同样的含义。
非结构化数据：
“《互联网大数据处理技术与应用》一书是由曾剑平编著，并由清华大学出版社于2017年出版。”
“曾剑平编著了《互联网大数据处理技术与应用》一书，并于2017年由清华大学出版社出版。”
“清华大学出版社于2017年出版了曾剑平编著的《互联网大数据处理技术与应用》一书。”
等等。
半结构化数据具有自描述的数据模型。
半结构化数据：
（书名：互联网大数据处理技术与应用；作者：曾剑平；出版社：清华大学出版社；出版日期：2017）
这里的书名、作者、出版社、出版日期就是自描述标签。
可见，结构化数据、半结构化数据、非结构化数据的最主要区别在于是否存在预先定义好的数据模型，更确切的说是概念数据模型。结构化数据能够用统一的某种结构加以表示，离开了这种结构，数据就没有意义；非结构化数据没有概念数据模型形式的限制，可以自由表达；而半结构化数据具有某种结构，但是数据本身带有结构的含义。
非结构化数据包含了文本、图象、声音、影视、超媒体等典型信息，在互联网上的信息内容形式中占据了很大比例。随着“互联网+”战略的实施，将会有越来越多的非结构化数据产生，据预测，非结构化数据将占据所有各种数据的70-80%以上。结构化数据分析挖掘技术经过多年的发展，已经形成了相对比较成熟的技术体系。也正是由于非结构化数据中没有限定结构形式，表示灵活，蕴含了丰富的信息。因此，综合看来，在大数据分析挖掘中，掌握非结构化数据处理技术是至关重要的。
其挑战性问题在于语言表达的灵活性和多样性，具体的非结构化数据处理技术包括：
（1）Web页面信息内容提取；
（2）结构化处理（含文文本的词汇切分、词性分析、歧义处理等）；
（3）语义处理（含实体提取、词汇相关度、句子相关度、篇章相关度、句法分析等）
（4）文本建模（含向量空间模型、主题模型等）
（5）隐私保护（含社交网络的连接型数据处理、位置轨迹型数据处理等）
等等。
这些技术所涉及的技术较广，在情感分类、客户语音挖掘、法律文书分析等等许多领域都有广泛的应用价值。

                                        
                                            


 非结构化数据&结构化处理方案



一、	非结构化数据处理需求

   企业拥有的非结构化数据增长迅速。非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有 Web 内容，如 HTML。

   根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不相同。 

1. 大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备 （如地理空间分析系统和医学捕获和分析系统）上。

2. 政府、学术界和企业中数 TB 的文档存档和数字库。

3. 生命科学和制药研究中使用的影像数据银行和库。

4. 公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。

5. 集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记录、位置和项目数据以及相关音频、视频和图像信息。



二、	KingbaseES 数据库在处理非结构化数据的优势

2.1	全文索引与检索

虽然数据库中早已支持全文检索操作符，如LIKE操作符，但目前这类操作符很难满足现代信息系统的全文检索需求。它的不足主要体现在以下方面：

?	缺乏语言支撑

例如，通过LIKE操作检索satisfy时不能把和它具有相同词根的satisfies也一并检索出来。

?	不支持结果集rank操作

在实际应用中，全文检索的结果集通常很大。若不对这些结果进行rank操作，则用户很难从中快速挑选出所需的结果。

?	检索性能较差

这些操作符一般缺乏有效的索引支撑，因此它的检索速度用户通常难以接受。

针对上述情况，KingbaseES在文本类型数据上提供了高效的全文索引和检索功能。

KingbaseES的全文检索主要具有以下特征：

?	支持丰富的数据类型

支持CHAR、VARCHAR、TEXT或CLOB类型字段的全文检索。

?	良好的可扩展性

允许用户依据自身应用需求，创建新的数据字典、分词器或rank函数。

?	内置rank函数

除允许用户创建rank函数外，系统内部还提供基于词语相似性、共现性和重要性的通用rank函数。

?	检索文本预处理

在检索前对检索文本进行了如下处理：文本的词语标注、规范化处理(如大小写转换、词根处理)、rank计算、剔除stopword等。

?	高效的全文索引

为优化检索性能，在检索文本上创建了广义倒排索引。

目前，KingbaseES提供了两种检索方式，即传统的数据库SQL检索和全新的全文检索。二者的区别是：前者获得的是精确匹配结果，而后者获得的是非精确匹配结果。因此，在实际应用中，用户可把二者配合使用，即首先可利用全文检索的模糊匹配功能，缩小检索范围，然后在该范围内再使用传统SQL检索的精确匹配功能快速获取所需结果。

2.2	大对象类型

通常，现代信息系统的大量数据是以半结构化或非结构化的数据形式存在。数据库系统若仅能存储和管理表等结构化信息的话，则远远不能满足如今的应用需求。因此，它还应能存储和管理图片、报表、图像、音频和视频等各种半结构化或非结构化的多媒体信息。针对这种情况，KingbaseES内部提供了专门的数据类型（即大对象类型），用于存储和管理这些多媒体数据。

目前，KingbaseES支持两种大对象类型，即二进制大对象(BLOB)和字符大对象(CLOB)类型，单个大对象大小可达到2G。并在这些类型上还提供了包括大对象创建、关闭、删除、读取、写入、截断、导入、导出等操作在内的对外函数接口。

与普通字符串类型相比，KingbaseES大对象类型重点从数据存储、锁资源使用优化、事务管理和逻辑备份与还原等方面进行了特殊处理。



三、 综上所述，根据目前所了解到的信息，我们可以将非结构化数据（文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有 Web 内容）通过KingbaseES支持的两种大对象类型，即二进制大对象(BLOB)和字符大对象(CLOB)类型，单个大对象大小可达到2G。并在这些类型上还提供了包括大对象创建、关闭、删除、读取、写入、截断、导入、导出等操作在内的对外函数接口。



                    

                                                    来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/25714550/viewspace-1813365/，如需转载，请注明出处，否则将追究法律责任。
                                            

                
转载于:http://blog.itpub.net/25714550/viewspace-1813365/