一、fasttext的模型结构是什么
fastText模型架构和word2vec的CBOW模型架构非常相似。

此架构图没有展示词向量的训练过程。可以看到，和CBOW一样，fastText模型也只有三层：输入层、隐含层、输出层（Hierarchical Softmax），输入都是多个经向量表示的单词，输出都是一个特定的target，隐含层都是对多个词向量的叠加平均。不同的是，CBOW的输入是目标单词的上下文，fastText的输入是多个单词及其n-gram特征，这些特征用来表示单个文档；CBOW的输入单词被onehot编码过，fastText的输入特征是被embedding过；CBOW的输出是目标词汇，fastText的输出是文档对应的类标。

值得注意的是，fastText在输入时，将单词的字符级别的n-gram向量作为额外的特征；在输出时，fastText采用了分层Softmax，大大降低了模型训练时间。

二、基于bert的分类为啥比fasttext模型效果好
fasttext工具包中内含的fasttext模型具有十分简单的网络结构。使用fasttext模型训练词向量时使用层次softmax结构, 来提升超多类别下的模型性能。由于fasttext模型过于简单无法捕捉词序特征, 因此会进行n-gram特征提取以弥补模型缺陷提升精度。所以fasttext的缺点就是：1. 模型结构简单，所以目前来说，不是最优的模型；2. 因为使用词袋思想，所以语义信息获取有限。
大部分词向量方法对每个词分配一个独立的词向量，而没有共享参数。特别的是，这些方法忽略了词之间的内在联系，词之间的内在联系对于形态学丰富的语言更加重要。
fastText的架构非常简单，有三层：输入层、隐含层、输出层（Hierarchical Softmax）
输入层：是对文档embedding之后的向量，包含有N-garm特征
隐藏层：是对输入数据的求和平均
输出层：是文档对应标签
如下图所示：

上述Fasttext存在的问题：
使用的是词袋模型，没有词序信息。（使用n-gram特征。）
当类别非常多的时候，最后的softmax 速度依旧非常慢。（类似于word2vec，使用层次softmax）

三、文本表示有哪些方法
基于one-hot、tf-idf（term frequency–inverse document frequency）TF-IDF原理及使用、textrank等的bag-of-words基于TextRank算法的文本摘要；
主题模型：LSA（latent semantic analysis）（SVD）、pLSA、LSA，pLSA原理及其代码实现 LDA一文详解LDA主题模型；
基于词向量的固定表征：word2vec、fastText、glove
基于词向量的动态表征：elmo、GPT、bert

四、fasttext相比word2vec好在哪
word2vec把语料库中的每个单词当成原子的，它会为每个单词生成一个向量。这忽略了单词内部的形态特征，比如：“apple” 和“apples”，“达观数据”和“达观”，这两个例子中，两个单词都有较多公共字符，即它们的内部形态类似，但是在传统的word2vec中，这种单词内部形态信息因为它们被转换成不同的id丢失了。
为了克服这个问题，fastText使用了字符级别的n-grams来表示一个单词。对于单词“apple”，假设n的取值为3，则它的trigram有
“<ap”, “app”, “ppl”, “ple”, “le>”
其中，<表示前缀，>表示后缀。于是，我们可以用这些trigram来表示“apple”这个单词，进一步，我们可以用这5个trigram的向量叠加来表示“apple”的词向量。这带来两点好处：

1. 对于低频词生成的词向量效果会更好。因为它们的n-gram可以和其它词共享。
2. 对于训练词库之外的单词，仍然可以构建它们的词向量。我们可以叠加它们的字符级n-gram向量。

五、fastText为什么效果比较好
使用词embedding而非词本身作为特征，这是fastText效果好的一个原因；
另一个原因就是字符级n-gram特征的引入对分类效果会有一些提升 。

六、怎样才算是一个好的Embedding
ELMo的作者认为一个好的embedding需要满足两个条件：
(1)能够捕捉到语法和语义信息
(2)能够区分一词多义的情况

七、fastText相比深度学习的分类方法，有什么优势
FastText是一个快速文本分类算法，与基于神经网络的分类算法相比有两大优点：

1. FastText在保持高精度的情况下加快了训练速度和测试速度
2. FastText不需要预训练好的词向量，FastText会自己训练词向量
3. FastText两个重要的优化：Hierarchical Softmax、N-gram
   FastText模型架构和 word2vec 中的 CBOW 很相似， 不同之处是FastText预测标签而CBOW预测的是中间词，即模型架构类似但是模型的任务不同。

参考文献：

• https://zhuanlan.zhihu.com/p/67099007
• https://zhuanlan.zhihu.com/p/356703993

Fasttext

Paper

Fasttext特点

1. 模型简单，只有一层的隐层以及输出层，因此训练速度非常快
2. 不需要训练词向量，Fasttext自己会训练
3. 两个优化：Hierarchical Softmax、N-gram

Fasttext模型架构

fastText模型架构和word2vec中的CBOW很相似， 不同之处是fastText预测标签而CBOW预测的是中间词，即模型架构类似但是模型的任务不同。

CBOW架构

(1) word2vec将上下文关系转化为多分类任务，进而训练逻辑回归模型，这里的类别数量$V$词库大小。
通常的文本数据中，词库少则数万，多则百万，在训练中直接训练多分类逻辑回归并不现实。
(2) word2vec中提供了两种针对大规模多分类问题的优化手段， negative sampling 和hierarchical softmax。在优化中，negative sampling 只更新少量负面类，从而减轻了计算量。hierarchical softmax 将词库表示成前缀树，从树根到叶子的路径可以表示为一系列二分类器，一次多分类计算的复杂度从|V|降低到了树的高度。整体的复杂度从。

Fasttext架构

fastText模型架构:其中$x_1,x_2,\dots ,x_{N-1},x_N$表示一个文本中的n-gram向量，每个特征是词向量的平均值。这和前文中提到的cbow相似，cbow用上下文去预测中心词，而此处用全部的n-gram去预测指定类别。

• $x_1,x_2,\dots ,x_{N-1},x_N$一个句子的特征，初始值为随机生成也可以采用预训练的词向量
• hidden: $X_i$ 的平均值 x
• output: 样本标签

目标函数

$N$:样本个数
$y_n$:第n个样本对应的类别
$f$:损失函数softmaxt
$x_n$:第n个样本的归一化特征
$A$：权重矩阵（构建词，embedding）
$B$：权重矩阵（隐层到输出层）

词向量初始化
一个句子的embedding为$[i{w}_1,i{w}_2,\dots .i{w}_n,o{w}_1,o{w}_2,\dots o{w}_s]$
$i{w}_i$:语料中出现的词，排在数组的前面
$o{w}_i$:n-gram或n-char特征
初始化为随机数, 如果提供预训练的词向量，对应的词采用预训练的词向量

层次softmax

当语料类别较多时，使用hierarchical Softmax(hs)减轻计算量 hs利用Huffman 树实现，词生成词向量或label分类问题作为叶子节点 根据词或label的count构建Huffman树，则叶子到root一定存在一条路径利用逻辑回归二分类计算loss。

n-gram和n-char

Fasttext方法不同与word2vec方法，引入了两类特征并进行embedding。其中n-gram颗粒度是词与词之间，n-char是单个词之间。两类特征的存储均通过计算hash值的方法实现。

n-gram
示例: who am I? n-gram设置为2
n-gram特征有，who, who am, am, am I, I
n-char
示例: where, n=3, 设置起止符<, >
n-char特征有，<wh, whe, her, ere, er>

FastText词向量与word2vec对比

• 模型的输出层
  • word2vec的输出层，对应下一个单词的概率最大值；fasttext的输出层是分类的label
• 模型的输入层：
  • word2vec的输入层，是 context window 内的word；而fasttext 对应的整个sentence的内容，包括word，也包括 n-gram的内容；

代码

import fasttext
## 1 is positive, 0 is negative

f = open('train.txt', 'w')
f.write('__label__1 i love you\n')
f.write('__label__1 he loves me\n')
f.write('__label__1 she likes baseball\n')
f.write('__label__0 i hate you\n')
f.write('__label__0 sorry for that\n')
f.write('__label__0 this is awful')
f.close()

f = open('test.txt', 'w')
f.write('sorry hate you')
f.close()

## 训练
trainDataFile = 'train.txt'

classifier = fasttext.train_supervised(
    input=trainDataFile, ## 文件输入
    label_prefix='__label__',　## label前缀
    dim=2,# 词向量维度
    epoch=2,　## epoch次数
    lr=1,　# 学习率
    lr_update_rate=50, #　多少步更新学习率
    min_count=1, # 最少的单词出现次数
    loss='softmax',　## loss function {ns, hs, softmax} [softmax] 
    word_ngrams=2,　# n-gram 窗口大小
    bucket=1000000) ## 叶子数

## 保存模型
classifier.save_model("Model.bin")

## 测试集测试

testDataFile = 'test.txt'
classifier = fasttext.load_model('Model.bin')
result = classifier.test(testDataFile)
print ('测试集上数据量', result[0])
print ('测试集上准确率', result[1])
print ('测试集上召回率', result[2])

res = classifier.predict(text=testDataFile)
print(res)

Fasttext 参数

The following arguments are mandatory:
  -input              training file path
  -output             output file path

The following arguments are optional:
  -verbose            verbosity level [2]

The following arguments for the dictionary are optional:
  -minCount           minimal number of word occurrences [1]
  -minCountLabel      minimal number of label occurrences [0]
  -wordNgrams         max length of word ngram [1]
  -bucket             number of buckets [2000000]
  -minn               min length of char ngram [0]
  -maxn               max length of char ngram [0]
  -t                  sampling threshold [0.0001]
  -label              labels prefix [__label__]

The following arguments for training are optional:
  -lr                 learning rate [0.1]
  -lrUpdateRate       change the rate of updates for the learning rate [100]
  -dim                size of word vectors [100]
  -ws                 size of the context window [5]
  -epoch              number of epochs [5]
  -neg                number of negatives sampled [5]
  -loss               loss function {ns, hs, softmax} [softmax]
  -thread             number of threads [12]
  -pretrainedVectors  pretrained word vectors for supervised learning []
  -saveOutput         whether output params should be saved [0]

The following arguments for quantization are optional:
  -cutoff             number of words and ngrams to retain [0]
  -retrain            finetune embeddings if a cutoff is applied [0]
  -qnorm              quantizing the norm separately [0]
  -qout               quantizing the classifier [0]
  -dsub               size of each sub-vector [2]