目录
1.TFIDF算法原理
2. TFIDF 概率模型解释
3. TFIDF python 实战


1.TFIDF算法原理
TFIDF (term frequency - inverse document frequency)

主要思想：如果某个词或者短语在一篇文章中出现的频率TF较高，而且在其他文章中出现的频率较少，则认为此词或短语具有很好的类别区分能力。
计算公式：

有语料库$D$，文章表示为 $d$，文章中的词或者短语表示为$w$。

TF(term frequency，词频):

$TF_{w, d_i} = \frac{count(w)}
            {\sum\limits_{t \in d_i} count(t)}$
$count(w)$为关键词$w$出现的次数。
IDF(inverse document frequency, 逆文档频率):

$IDF_{w, D} = log \frac{|D|}
                {1 + \sum\limits_{i = 1}^{|D|} I(w, d_i) }$

$|D|$表示语料库$D$中文章的数量，$I(w, d_i)$为指示函数，表示词或者短语$w$是否在文章$d_i$中出现，出现为1，否则为0。

若词或者短语$w$未在语料库中出现过，我们需要对$IDF$进行平滑(smooth)操作。
$TFIDF_{w, d_i} = TF_{w, d_i} * IDF_{w, D}$




一些结论：

当一个词在文章频率越高并且新鲜度高（即普遍度低），其TF-IDF值越高。
TF-IDF兼顾词频与新鲜度，过滤一些常见词，保留能提供更多信息的重要词。





2. TFIDF 概率模型解释

参考网页





3. TFIDF python 实战

参考网页

tfidf包括两部分：tf：词语在文档中出现的次数，idf中的df是在整个语料库中有多少篇文档包含了该词语，其中的i是逆的意思，核心思想是：如果一个词在某篇文档中出现的次数多并且包含该词语的文档少，那么这个词语很重要。如果一个词在很多个文档中都出现，那么说明这个词只是个高频词，没有意义（例如：“的”这个字）。

tfidf有很多变种，可以参考下面图表。



上图的出处：https://rare-technologies.com/pivoted-document-length-normalisation/

gensim中的函数是通过指定字母来确定用哪个公式，

上面是理论方面，实现方面，可以用gensim也可以用sklearn

额外要补充的：

1.gensim里面可以自定义wlocals（也就是tf的函数）和wglobal（也就是idf的函数）

 

2.gensim里面有pivot和slope，据说可以解决cosine normalize倾向于给短文本赋予更大权重的问题。

slope * old_norm + (1.0 -slope) * pivot

这两个参数有默认值，默认值就挺好的，基本不用动，pivot是如果有corpus或者dictionary的话，会自动设置，而slope是取的一个经典的值0.25。

Tfidf(词频-反转文档频率）

TF代表统计部分， 而IDF把权重折扣考虑了进去。

>>> import scipy as sp
>>> def tfidf(term, doc, docset):
···     tf = float(doc.count(term) / sum(doc.count(term) for doc in docset)
···     idf = math.log(float(len(docset)) / (len([doc for doc in docset 
             if term in doc]))
···     return tf * idf

class TFIDF(object):
"""
以一个图书馆为例，
tf: 该单词在图书馆某本书里出现的频率
idf: 1+log((图书馆所有书的数量+平滑系数)/(该单词出现过的书的数量+平滑系数))
tfidf = tf*idf，即对应该本书该词的tfidf值
"""
def __init__(self, corpus_, stop_words, word_sep=' ', smooth_value=0.01):
assert isinstance(corpus_, list), 'Not support this type corpus.'
self.corpus = corpus_
self.vob = defaultdict(int)
self.word_sep = word_sep
self.smooth_value = smooth_value
self.doc_cnt = defaultdict(set)
self.word_unq = set()
self.stop_words = stop_words
def get_tf_idf(self):
filter_corpus = []
for i, line in enumerate(self.corpus):
if isinstance(line, str):
line = line.split(self.word_sep)
line = [i for i in line if i not in self.stop_words]
filter_corpus.append(line)
for w in line:
self.vob[f'{i}_{w}'] += 1
self.doc_cnt[w].add(i)
self.word_unq.add(w)
key_values = dict(zip(range(len(self.word_unq)), self.word_unq))
output = np.zeros((len(self.corpus), len(self.word_unq)))
for i, line in enumerate(filter_corpus):
tmp_size = len(line)
for j in range(output.shape[1]):
w = key_values[j]
w_ = f'{i}_{w}'
if w in line:
output[i, j] = self.vob[w_]/tmp_size*(1+np.log((output.shape[0]+self.smooth_value)/(self.smooth_value+len(self.doc_cnt[w]))))
return output
if __name__ == '__main__':
# 每个列表类比为一本书
corpus = [['this', 'is', 'a', 'simple', 'tfidf', 'code', 'but', 'code', 'might', 'has', 'bugs'],
['python', 'is', 'a', 'code', 'language', 'not', 'human', 'language'],
['learning', 'python', 'make', 'things', 'simple', 'but', 'not', 'simple', 'enough']]
result = TFIDF(corpus, stop_words=['a'], smooth_value=1)
print(result.get_tf_idf())