TF（Term frequency）-词频，IDF（Inverse document frequency）-逆文本频率
 
TF-IDF是一种度量关键词权重的方法。主要的应用场景：（1）搜索（2）关键词提取（可用于文本分类）
 
刚开始的时候利用的是词频来确定关键词的权重，即 词语在语料库中出现的频率。
 
记作                                                                 
 
关键词w出现的次数除以语料库中单词总个数。
 
但是这种方法有一个问题，就是像“的”这种词，出现的频率特别高，但是对于最终关键词提取并没有什么作用，这类属于停用词（stop word）要去掉；还有一些词语，比如在对新闻分类的时候，“报道”这种词出现的频率也很高，每一篇文章中，并不能用这种词作为文章的关键词。
 
解决方案：某个词语只出现在小部分的文章中，那么它的权重应该大，作为分类关键词或者搜索关键词，是很有帮助的。这种计算权重的方法就是逆文本频率。
 
公式为：                                                                             
 
D为文章个数，为出现词w的文章个数。
 
在《数学之美》这本书中，作者给出的解释是“IDF的概念就是一个特定条件下关键词的概率分布的交叉熵”。
 
可以这么理解这句话，因为交叉熵是用来衡量P（目标概率分布）与Q（训练概率分布）的，公式如下：
 
                                                               
 
若Q能够很好地表示P，那么应该尽可能的小。那么在，如果一个关键词能够很好地表示这个文本的话，那么这个概率应该尽可能的大。（），即某个词语如果只在少数文章中出现那么它的概率应该大。
 
最终关键词的权重利用的是词频*逆文本频率得到，TF*IDF。
 
TF-IDF的信息论依据
 
一个文章中，每个关键词的权重应该能够反应可以为最终结果提供多少的信息量，即可以利用信息熵来表示。
 
                                                                  
 
                                                                  
 
N为语料库的大小，可以省略，故
 
                                                                                                           (1)
 
两个词出现的频率相同，一个是一篇文章中反复出现，一个是多篇文章中出现一两次，那么第一种情况应该权重更大，因此应该更改上式。
 
假设：（1）每篇文章大小(共D篇)相同，均有M 个词，即  
 
（2）一个词在一篇文章中无论出现多少次，它对于文章贡献相同，即,c(w)<M
 
故 由（1）得，
 
                                                            （2）
 
所以由（1）（2）得：
 
                                             
 
一个词的信息量越多，那么I(w)越多，由于c(w)<M，所以一个词在文献中出现的平均次数越多，那么第二项越小，整体越大。
 
上述内容主要从《数学之美》-第11章整体出。
 
代码：主要利用了sklearn.feature_extraction.text中的几个模型。
 
第一种方式：CountVectorizer  + TfidfTransformer  
 
import jieba
from sklearn.feature_extraction.text import TfidfTransformer  
from sklearn.feature_extraction.text import CountVectorizer  

corpus = ['证明你有来过','只看见沙漠','背影是假的人是真的']
dataset = []
for sen in corpus:
    dataset.append(' '.join(jieba.lcut(sen))) 

## 必须转成 ['证明 你 有 来过']这样形式才可以利用这个包处理

vectorizer = CountVectorizer() #IF-统计词频
data_vectorizer = vectorizer.fit_transform(dataset)
transformer = TfidfTransformer() #IF-IDF
tfidf = transformer.fit_transform(data_vectorizer) 
print(tfidf) 
### output：
### (0, 4)        1.0
### (1, 1)        0.7071067811865476
### (1, 0)        0.7071067811865476
### (2, 3)        0.7071067811865476
### (2, 2)        0.7071067811865476
### 表示矩阵每个位置的IF-IDF是多少
tfidf = tfidf.toarray() #tfidf转成矩阵
print(tfidf)

### output:
### [[0.         0.         0.         0.         1.        ]
###  [0.70710678 0.70710678 0.         0.         0.        ]
###  [0.         0.         0.70710678 0.70710678 0.        ]]
### a[i][j]表示词汇表中的索引为j的词在i个句子中的IF-IDF值
 
有0的位置，是因为参数设置的问题，词袋中只统计了词字数大于2的词。
 
第二种方式：TfidfVectorizer （TfidfVectorizer = CountVectorizer  + TfidfTransformer  ）
 
from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer() #初始化

tfidf.fit(dataset) 
#print(tfidf.get_feature_names()) ##词袋
#print(tfidf.vocabulary_) ## 词汇表
corpus_vector = tfidf.transform(dataset).toarray()
print(corpus_vector)
 
第二种方式比较好用，初始化的时候可以有很多种参数设置，这里不再赘述，附几个我认为比较好的参数讲解。
 
（1）https://blog.csdn.net/laobai1015/article/details/80451371
 
（2）https://blog.csdn.net/blmoistawinde/article/details/80816179

原标题《弘辽科技：淘宝关键词权重该如何提升？商家要记住的4大必要因素》
 
 
 
淘宝标题的关键词是商品与顾客相连的管道，就好比我们都知道练武的人，只有把经络的任督二脉给打通，那练武就会快很多，现在淘宝标题的关键词就像这个“任督二脉”，只要打通了，那么流量就自己送上门来了，这对店铺的各方面的数据提升都有极大的帮助。由此可见，关键词权重的提升非常的重要。那么。淘宝商家要如何提高关键词的权重呢？
 
 
1、新品期间提升关键词权重
 
新手开店期间，新品期间是会受到淘宝平台的扶持，所以在新品期间提升淘宝关键词是很关键的，因为新品期间会受平台的扶持，提升权重会比较轻松，这个时候把权重提升上去了，对于后期店铺的运营会省很多精力和时间，若是新品期间，就把权重提升了，那也可以看出商家及店铺未来发展的潜力。
 
2、关键词的点击和转化
 
关键词的权重和点击率、转化率、展现率有关系，所以除了新品期可以提升关键词的权重，淘宝商家也可以通过宝贝的点击率、转化率、展现率来提升关键词权重。
 
如何从这三个率来提升关键词的权重呢？
 
点击率：关键词蹊径做好匹配，创意内容吸引人。
 
转化率：针对性的着落页一定要快速打开及内容与关键词相符，做好着落页咨询。
 
展现率：扩展更有商业价值的关键词及长尾词，可利用官方的百度指数等关键词筛选匹配出更适合的关键词匹配方式。
 
 
 
淘宝商家可以从商品的主图、用词的精准度方面去考虑，同时也可以通过避开强大的竞争对手的方法，除此之外，还要做好宝贝的详情页、店铺的定位以及提高客服服务质量。自家店铺的宝贝点击率、转化率和展现量提高了，那么宝贝关键词的权重也就提高了。
 
 
 
3、宝贝下架时间
 
想要提升关键词权重，宝贝下架时间淘宝商家也不容错过，在商品下架的前三天也可以来一波权重的提升，我们都知道，离下架时间越近，商品的排名就会越靠前，那获得流量也就会越多。像淘宝的流量高峰期，商家们肯定都会去抢，那小卖家们就要避开这个高峰，因为这高峰期注定是你不能得到的，你在商品下架钱，去抢个小高峰，那流量也是能把你养肥的，对关键词权重的提升也是非常有用的。
 
4、超过同价位竞品
 
无论是开什么类目的网店，都会有相似类目的竞争对手，那么商家就要突出自家店铺商品的特别之处以及想出超越竞争对手的措施并采取行动，商家可以通过自己宝贝的点击率、转化率和连续7天的销售产出来查看自家店铺是否超越了其他同价位的竞争宝贝。这也是个提升关键词权重的办法。
 
 
 
 
 
 

 
文章目录
 
算法思想
算法原理
TF-IDF与信息论
平滑处理
正则化处理
算法实现

 
 
算法思想
 
TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率） 是用于信息检索与文本挖掘的重要算法，其中TF用于度量关键词在文档中的重要性，IDF用于度量关键词在全文档中的重要性， 即文档中某关键词的重要性，与它在当前文档中的频率成正比，而与包含它的文档数成反比。
 
TF-IDF的主要思想是，若一个关键词在一篇文档中出现的频率高，而在其他文档中很少出现，则该关键词可较好的反应当前文档的特征。
 
 
算法原理
 
度量某文档和查询的相关性，最简单的方法是利用各查询关键词在该文档中出现的总词频（Term Frequency，TF）。
 
具体地，对于包含M个关键词的w1, w2,…wn查询，各关键词在某文档中出现的频率分别为：TF(w1), TF(w2),…,TF(wM)​，则该文档与查询的相关性为：
 $$TF(w_1)+TF(w_2)+\cdots +TF(w_M)$$
 
某些关键词可能同时出现在多篇文档中，该类关键词的主题预测能力较弱，可见，仅使用TF不能很好的反应文档与查询的相关性。
 
关键词的主题预测能力越强，在度量与文档的相关性时，其权重应该越大。 也就是说，若某关键词在较少文档中出现，则该关键词的权重应该较高，如关键词原子能的权重大于应用的权重。因此，利用包含某关键词的文档数，修正仅用词频TF度量该关键词的权重。
 
在信息检索领域，使用逆文本频率（Inverse Document Frequency， IDF） 表示关键词的主题预测能力（权重），表示为
 $$IDF(w)=\log \frac{D}{DF(w)}$$
 
其中D为全部文档数，DF(w)为包含关键词w的文档数。
 
利用IDF的思想，文档与查询的相关性计算由简单的词频求和，变为以IDF为权重的加权求和，即
 $$TF(w_1)\cdot IDF(w_1)+TF(w_2)\cdot IDF(w_2)+\cdots +TF(w_M)\cdot IDF(w_M)$$
 
 
TF-IDF与信息论
 
一个查询中，每个关键词的权重应该反应其为查询提供的信息量，简单的方法就是，用关键词的信息量，作为它在查询中的权重，即
 $$\begin{array}{rl}I(w)& =-P(w)\log P(w)\\ & \\ & =-\frac{TF(w)}{N}\log \frac{TF(w)}{N}=\frac{TF(w)}{N}\log \frac{N}{TF(w)}\end{array}$$
 
其中N​为整个语料库中的总词数，是可忽略的常数，此时
 $$I(w)=TF(w)\log \frac{N}{TF(w)}$$
 
若两个关键词在全文档中出现的频率相同，但第一个关键词集中分布在少数文章中，而第二个关键词分布在多篇文章中，显然，第一个关键词具有更好的主题预测能力，应赋予更高的查询权重。
 
为此，提出以下假设（总文档数D，总词数N​，包含关键词w​的文档数DF(w)​）：
 
 
每个文档含词数基本相同，即
 $$M=\frac{N}{D}=\frac{{\sum }_{w}TF(w)}{D}$$
 
 
每个关键词一旦在文档中出现，不论其出现多少次，权重都相同，即关键词w在文档中未出现，则权重为0；否则，则为
 $$c(w)=\frac{TF(w)}{DF(w)}$$
 
 
因此，关键词w的信息量
 $$\begin{array}{rl}I(w)& =TF(w)\log \frac{N}{TF(w)}=TF(w)\log \frac{MD}{c(w)\cdot DF(w)}\\ & =TF(w)\left[\log \frac{D}{DF(w)}+\log \frac{M}{c(w)}\right]\end{array}$$
 
=>
 $$TF-IDF(w)=I(w)-TF(w)\log \frac{M}{c(w)}$$
 
易知，关键词w的TF-IDF值，与其信息量成正比；又由于M>c(w)，知关键词w的TF-IDF值，与其在文档中出现的平均次数成反比，这些结论完全符合信息论。
 
 
平滑处理
 
经过平滑处理后, IDF的最终计算公式如下：
 $$IDF(w)=\log \frac{N+1}{DF(w)+1}+1$$
 
log项中分子项和分母项均加1，表示虚拟增加一篇包含任意词的文档，避免分母项为0；
IDF的最终值加1，避免某单词在所有文档中出现时，IDF的值为0，即不忽略出现在所有文档中的词；
 
 
正则化处理
 
sklearn中类TfidfTransformer默认对文档的TF-IDF特征向量做l2正则化，即某文档的TF-IDF特征向量为v，则
 $$V_{norm}=\frac{v}{||v|{|}_2}=\frac{v}{\sqrt{v_1^2+v_2^2+\cdots +v_n^2}}$$
 
若单词表为{w1, w2, w3}，文档A=(w1, w2, w2)，B=(w1, w2, w3)，且w1, w2, w3的IDF值相同，则未正则化时
 $$\begin{array}{rl}& TF-IDF(A)=(0.333,0.666,0)\cdot IDF(w)\\ & TF-IDF(B)=(0.333,0.333,0.333)\cdot IDF(w)\end{array}$$
 
此时，文档A、B中单词w1的TF-IDF值相同。
 
若进行l2正则化，则
 $$\begin{array}{rl}& TF-IDF(A{)}_{l2}=(0.447,0.894,0)\\ & TF-IDF(B{)}_{l2}=(0.577,0.577,0.577)\end{array}$$
 
可见文档B中w1的TF-IDF值（权重）更大，正则化后的意义为：考虑文档的TF-IDF特征分布，增加不同权重之间的差异。
 
不失一般性，文档A、B中正则化后w1的TF-IDF分别为
 $$\begin{gathered} TF-IDF(A_{w_1}{)}_{l2}=\frac{TF(A_{w_1})}{\sqrt{TF(A_{w_1}{)}^2+TF(A_{w_2}{)}^2}} \\ TF-IDF(B_{w_1}{)}_{l2}=\frac{TF(B_{w_1})}{\sqrt{TF(B_{w_1}{)}^2+TF(B_{w_2}{)}^2++TF(B_{w_3}{)}^2}} \end{gathered}$$
 
如TF(A_w1) = TF(B_w1)，且TF之和为1，知
 $$TF(A_{w_2})=TF(B_{w_2})+TF(B_{w_3})$$
 
推导出
 $$\begin{array}{rl}TF(A_{w_2}{)}^2& =TF(B_{w_2}{)}^2+TF(B_{w_3}{)}^2+2TF(B_{w_2})\cdot TF(B_{w_3})\\ & \ge TF(B_{w_2}{)}^2+TF(B_{w_3}{)}^2\end{array}$$
 
进而，推导出
 $$TF-IDF(A_{w_1}{)}_{l2}\le TF-IDF(B_{w_1}{)}_{l2}$$
 
当前仅当TF(B_w2) = 0或TF(B_w3) = 0，即B中w2或w3的频率为0时，等式成立。
 
算法实现
 
算法的实现参考了sklearn.feature_extraction.text中的CountVectorizer和TfidfVectorizer类，如下：
 
import re
from collections import defaultdict

from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
import numpy as np
from scipy.sparse import csr_matrix, spdiags
from scipy.sparse.linalg import norm

PTN_SYMBOL = re.compile(r'[.!?\'",]')


def tokenize(doc):
    """
    英文分词，小写输出
    """
    for word in PTN_SYMBOL.sub(' ', doc).split(' '):
        if word and word != ' ':
            yield word.lower()


def count_vocab(raw_documents):
    """
    返回文档词频的稀疏矩阵
    参考sklearn.feature_extraction.text.CountVectorizer._count_vocab

    矩阵大小：M*N, M个文档, 共计N个单词

    :param raw_documents: ['Hello world.', 'Hello word', ...]
    :return: csc_matrix, vocabulary
    """
    vocab = {}
    data, indices, indptr = [], [], [0]

    for doc in raw_documents:
        doc_feature = defaultdict(int)
        for term in tokenize(doc):
            # 词在词表中的位置
            index = vocab.setdefault(term, len(vocab))
            # 统计当前文档的词频
            doc_feature[index] += 1
        # 存储当前文档的词及词频
        indices.extend(doc_feature.keys())
        data.extend(doc_feature.values())
        # 累加词数
        indptr.append(len(indices))

    # 构造稀疏矩阵
    X = csr_matrix((data, indices, indptr), shape=(len(indptr) - 1, len(vocab)), dtype=np.int64)

    # 将单词表排序，同时更新压缩矩阵数据的位置
    map_index = np.empty(len(vocab), dtype=np.int32)
    for new_num, (term, old_num) in enumerate(sorted(vocab.items())):
        vocab[term] = new_num
        map_index[old_num] = new_num
    X.indices = map_index.take(X.indices, mode='clip')

    X.sort_indices()

    return X, vocab


def tfidf_transform(X, smooth_idf=True, normalize=True):
    """
    将词袋矩阵转换为TF-IDF矩阵

    :param X: 压缩的词袋矩阵 M*N， 文本数M, 词袋容量N
    :param smooth_idf: 是否对DF平滑处理
    :param normalize: 是否对TF-IDF执行l2标准化
    :return: TF-IDF压缩矩阵(csc_matrix)
    """
    n_samples, n_features = X.shape

    df = np.bincount(X.indices, minlength=X.shape[1])
    df += int(smooth_idf)
    new_n_samples = n_samples + int(smooth_idf)
    idf = np.log(float(new_n_samples) / df) + 1.0

    # 对角稀疏矩阵N*N，元素值对应单词的IDF
    idf_diag = spdiags(idf, diags=0, m=n_features, n=n_features, format='csr')

    # 等价于 DF * IDF
    X = X * idf_diag

    # 执行l2正则化
    if normalize:
        norm_l2 = 1. / norm(X, axis=1)
        tmp = spdiags(norm_l2, diags=0, m=n_samples, n=n_samples, format='csr')
        X = tmp * X

    return X


if __name__ == '__main__':
    # 源文档
    raw_documents = [
        'This is the first document.',
        'This is the second second document.',
        'And the third one.',
        'Is this the first document?',
    ]
    # 转换为词袋模型
    X, vocab = count_vocab(raw_documents)
    # X = CountVectorizer().fit_transform(raw_documents)
    """
    >> vocab
    {'this': 8, 'is': 3, 'the': 6, 'first': 2, 'document': 1, 'second': 5, 'and': 0, 'third': 7, 
    'one': 4}
    
    >> X.toarray()
    [[0 1 1 1 0 0 1 0 1]
     [0 1 0 1 0 2 1 0 1]
     [1 0 0 0 1 0 1 1 0]
     [0 1 1 1 0 0 1 0 1]]
    """

    # 计算TF-IDF
    tfidf_x = tfidf_transform(X)
    # tfidf_x = TfidfVectorizer().fit_transform(raw_documents)
    """
    >> tfidf_x.toarray()
    [   [0.       0.439       0.542       0.439       0.          0.      0.359   0.         0.439]
        [0.       0.272       0.          0.272       0.          0.853   0.223   0.         0.272]
        [0.553    0.          0.          0.          0.553       0.      0.288   0.553      0.   ]
        [0.       0.439       0.542       0.439       0.          0.      0.359   0.         0.439]	]
    """

网站优化过程中我们可能经常会遇到一个比较棘手的问题就是网站降权问题。很多时候我们发现网站关键词排名消失，然后网站收录下降了才意识到了网站被降权的问题，其实很多时候是有征兆的，仅仅是我们忽略了这个关键性的指示罢了。那么，网站权重提升与关键词提升有什么联系？接下来小编就跟大家分享下网站权重提升与关键词提升的联系，一起来看看吧！
 
 
1、关键词的比例和位置：网站关键词会布局在标题上，那么关键词在标题上所占比例，也就是出现的次数和展示的先后顺序都会影响网站给关键词分配的权重数值。
 
2、网站meta布局展示：网站代码中的meta中包含了描述和关键词两个部分，我们所要有优化的关键词在这两个部分中的展示与否和出现的次数（完全匹配展示）会影响站点分配的权重数值。
 
3、关键词密度问题：布局关键字的密度的多少，根据某些关键词在页面中的密度的不同，展示的不同（加粗或描红）以及位置的不同（顶端或页面底部）都会营销网站给其分配的权重数值。
 
4、关键词链接数量：网站外部链接和网站内部链接所布局的锚文本链接所指向的网站页面的数量也是会影响关键词权重的，根据搜素引擎的核心算法我们通常认为每一条链接就会对应的关键词带来一个评分投票，那么该词的权重数值就相对较高一些。