分词：tokenization
一个词：token

词语分割表示方法：
1.单个词。
2.单个字
3.n_gram.

n_gram考虑到了文本之间的顺序问题
自然语言处理中N-Gram模型介绍
amazing！

import jieba
import torch

text="深度学习（英文:deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法"

cuted=jieba.lcut(text) #获取到列表的格式

"假设为2_gram "
"注意这里len(cuted-1) 因为是对文本进行长度为2的词语的组合。最后一个词的后面没有能跟他组合的了，所以-1." \
"如果是3_gram 那么就是减-2"
n_gram=[cuted[i:i+2] for i in range(len(cuted)-1)]
print(n_gram)

输出：

代码中减1的原因：

二、文本的向量化
1.one-hot 编码
2.word embedding表示法

这里的词典：待训练的样本里面，不重复的词语的个数。

on-hot使用稀疏的向量表示文本，占用的空间大

2.word embedding表示法

把文本转化为向量，把句子用向量表示。

前提：先将token用数字表示，再把数字用向量表示,最终才能输入到网络中训练。

token–>num—>vector

如下解释：

1. 我们有batch_size个句子，每个句子有N个词语。
2. 我们还有一个词典。其中定义了不重复的单词的个数M，以及每个单词的向量维度4.
3. 将batch_size*N个词语分别进行num编号，然后到词典中查找相应的vector。最红转化为[batch_size,N,4]这个一个Vector。

torch中可以实现上述过程的API:

这里的num_emeddings是样本中不重复词语的个数。
这个api的输出维度：[batch_size,N,embedding_dim]

学习目标
   • 了解自然语言处理基本知识
   • 掌握循环神经网络算法
   • 掌握自然语言处理关键技术
   • 了解自然语言处理的应用

什么是文本向量化
   • 文本向量化：将文本表示成一系列能够表达文本语义的向量。常用的向量化算法有：
      • one-hot
      • TF-IDF
      • word2vec
         o CBOW模型
         o Skip-gram模型
      • doc2vec/str2vec
         o DM（Distributed Memory）
         o DBOW（Distributed Bag of Words）
   • 文本表示是自然语言处理中的基础工作，文本表示的好坏直接影响到整个自然语言处理系统的性能。文本向量化是文本表示的一种重要方式。无论是中文还是英文，词语都是表达语义的基本单元。
      
            用四个维度(向量)表示这几个对象。
word2vec - CBOW模型
      
            用中间词作为目标词，使用上下文去预测出现的概率
word2vec - Skip-gram模型
      
            从目标单词预测上下文，计算句子、长文本的相似性：分词—关键词—向量化—平均、拼接—计算相似性
            会打乱文本间语序
doc2vec - DM模型
      
            基于CBOW模型，区别是用段落向量、句向量，而不是单词向量
doc2vec - DBOW模型
      

大纲

• 文本向量化常用算法介绍，word2vec及doc2vec
• 向量化方法的模型训练和使用

7.1 文本向量化概述

即将文本表示为一系列能表达文本语义的向量；

7.2 向量化算法word2vec

• 词袋（Bag of Word）模型：最早的以词语为基本处理单元的文本向量化方法；

• 词袋模型存在的问题：

  • 维度灾难
  • 无法保留词序信息
  • 存在语义鸿沟问题

• 神经网络语言模型（NNLM）

  

  大致操作步骤：从语料库中收集一系列长度为$n$的文本序列$w_{i-(n-1)},\dots ,w_{i-1},w_i$，设这个长度为$n$的文本序列组成的集合为$D$，则NNML的目标函数定义为：

  $$\sum _{D}P(w_i|w_{i-(n-1)},\dots ,w_{i-1})$$

  即：在输入词序列为$w_{i-(n-1)},\dots ,w_{i-1}$的情况下，计算目标词$w_i$的概率；

  在上述经典三层前馈神经网络结构中：为解决词袋模型数据稀疏问题，输入层的输入为低纬度的、紧密的词向量，将词序列$w_{i-(n-1)},\dots ,w_{i-1}$中每个词向量按顺序进行拼接，即：

  $$x=[v(w_{i-(n-1)});\dots ;v(w_{i-2});v(w_{i-1})]$$

  接下来，$x$经隐藏层得到$h$，再将$h$接入输入层从而得到最后的输出变量$y$，其中：

  $$h=tanh(b+Hx)$$

  $$y=b+Uh$$

  其中$H$是输入层到隐藏层的权重矩阵，维度为$|h|\times (n-1)|e|$；$U$是隐藏层到输出层的权重矩阵，维度为$|V|\times |h|$，其中$|V|$表示词表大小，$b$则是模型中的偏置项；为保证输出$y(w)$的表示概率值，需对输出层进行归一化操作，一般是加入$softmax$码数，将$y$转化成对应概率值：

  $$P(w_i|w_{i-(n-1)}\dots ,w_{i-1})=\frac{exp(y(w_i))}{{\sum }_{k=1}^{|V|}exp(y(w_k))}$$

  因为输出是在上下文词序列出现的情况下，下一个词的概率，所以语料库$D$中最大化$y(w_i)$即为$NNLM$模型的目标函数：

  $$\sum _{w_{i-(n-1);iinD}}logP(w_i|w_{i-(n-1)},\dots ,w_{i-1})$$

  一般使用随机梯度下降法对模型进行训练，对于每个$batch$，随机从语料库中抽取若干样本进行训练，其迭代公式为：

  $$\theta :\theta +\alpha \frac{\partial logP(w_i|w_{i-(n-1)},\dots ,w_{i-1})}{\partial \theta }$$

  $\alpha$为学习率，$\theta$包括模型中设计所有参数，包括$NNLM$模型中的权重、偏置以及输入词向量；

• C&W模型

  

  KaTeX parse error: Expected 'EOF', got '&' at position 2: C&̲W模型未采用语言模型的方式求解词语上下文的条件概率，而是直接对$n$元短语打分，其核心机理为：若$n$元短语在语料中出现过，则模型给该短语打一个高分，若未出现的短语，则赋予一个较低评分，其目标函数为：

  $$\sum _{(w,c)\in D}\sum _{w^{‘}\in V}max(0,1-score(w,c)+score(w^{‘},c))$$

  $(w,c)$是从语料中抽取的$n$元短语，为保证上下文词数一致性$n$应该为奇数，$w$是目标词，$c$表示目标词上下文语境，$w^{‘}$是词典中随机抽取的词；

• CBOW模型

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VjU5ejcY-1604644465522)(https://i.loli.net/2019/08/31/iyZ941D68EKNgrU.png)]

  根据上下文来预测当前词语的概率，使用文本中间词作为目标词，同时去除隐藏层从而提升运算速率，其输入层激吻语义上下文的表示；

  对目标词的条件概率公式如下：

  $$P(w|c)=\frac{exp(e^{‘}(w{)}^{T}x)}{{\sum }_{w^{‘}\in V}exp(e^{‘}(w^{‘}{)}^{T}x)}$$

  其目标函数类似于$NNLM$模型，为最大化式：

  $$\sum _{(w,c)\in D}logP(w,c)$$

• Skim-gram模型

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tTiS5qFA-1604644465523)(https://i.loli.net/2019/08/31/UNFVnfweLiOtHI5.png)]

  根据当前词语来预测上下文概率，从目标词$w$的上下文中选择一个词，然后将其词向量组成上下文的表示，模型目标函数为：

  $$max(\sum _{(w,c)\in D}\sum _{w_j\in c}logP(w|w_j))$$

7.3 向量化算法doc2vec/str2vec

doc2vec包括DM（Distributed Memory）和DBOW（Distributed Bag of Words），DM模型视图预测给定上下文（不仅包含单词，还包含相应段落）求某单词出现的概率，而DBOW则在仅给定段落向量的情况下预测段落中一组随机单词的概率。总体而言，doc2vec是word2vec的升级，doc2vec不仅提取了文本的语义信息，还提取了文本的语序信息；