1 关于主题模型
 
使用LDA做推荐已经有一段时间了，LDA的推导过程反复看过很多遍，今天有点理顺的感觉，就先写一版。
 
隐含狄利克雷分布简称LDA（latent dirichlet allocation），是主题模型(topic model)的一种，由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出。 主题模型属于聚类方法，是一种无监督的学习方法。
与通常的tf-idf相比，主题模型重在可以在语义上计算文本内容的相关性。主题模型是一种词袋模型，即只考虑文本总的词频，不考虑顺序。
假设依据是一篇文本以一定的概率属于多个主题（概率相加为1），一个词也以一定的概率属于多个主题（一个词可能以不同的概率属于不同的主题）。
参数的先验 
 topic-word分布受一个参数为α的对称Dirichlet约束 
 doc-topic分布受一个参数为β的对称Dirichlet约束
 
2 频率学派与贝叶斯学派
 
这里简单介绍频率学派和贝叶斯学派，因为PLSA和LDA分别用的是这两种学派的思想。
 
直至今日，关于统计推断的主张和想法，大体可以纳入到两个体系之内，其一叫频率学派，其特征是把需要推断的参数θ视作固定且未知的常数，而样本X是随机的，其着眼点在样本空间，有关的概率计算都是针对X的分布。另一派叫做贝叶斯学派，他们把参数θ视作随机变量，而样本X是固定的，其着眼点在参数空间，重视参数θ的分布，固定的操作模式是通过参数的先验分布结合样本信息得到参数的后验分布。
 
以抛硬币为例，正面朝上的概率是待求的参数。
 
往小处说，频率派认为参数是客观存在，不会改变，虽然未知，但却是固定值；贝叶斯派则认为参数是随机值，因为没有观察到，那么和是一个随机数也没有什么区别，因此参数也可以有分布。
往大处说，频率派最常关心的是似然函数，而贝叶斯派最常关心的是后验分布。我们会发现，后验分布其实就是似然函数乘以先验分布再normalize一下使其积分到1。因此两者的很多方法都是相通的。贝叶斯派因为所有的参数都是随机变量，都有分布，因此可以使用一些基于采样的方法（如MCMC）使得我们更容易构建复杂模型。频率派的优点则是没有假设一个先验分布，因此更加客观，也更加无偏。
例如，概率学派可能任务抛硬币证明朝上的概率就是0.5；而贝叶斯学派先取得一个先验概率，在通过做试验观察，结合先验概率和观察结果得出一个后验概率，这个后验概率才是硬币证明朝上的概率，后验概率本身也符合某种分布。
LDA是三层贝叶斯模型。 简单的说，一篇文章可以以不同的概率属于多个主题，但分别以多大的概率属于这些主题呢？例如文章A可以是{‘科技’:0.5, ‘体育’:0.2, ‘财经’:0.3}这种分布， 也可能是{‘科技’:0.4, ‘体育’:0.4, ‘财经’:0.2}这种分布. 贝叶斯学派认为这个分布也服从一定分布，这里用的就是狄利克雷分布，即它在LDA中其实是一个分布的分布。并且，LDA用到两次Dilichlet：一个主题中词的概率分布也服从狄利克雷分布。
 
3 PLSA与LDA
 
介绍PLSA和LDA两种生产模型。
 
3.1 PLSA
 
3.1.1 举个生成文本的例子
 
一篇文章往往有多个主题，只是这多个主题各自在文档中出现的概率大小不一样。比如介绍一个国家的文档中，往往会分别从教育、经济、交通等多个主题进行介绍。那么在pLSA中，文档是怎样被生成的呢？ 
 假设你要写M篇文档，由于一篇文档由各个不同的词组成，所以你需要确定每篇文档里每个位置上的词。 
 再假定你一共有K个可选的主题，有V个可选的词，咱们来玩一个扔骰子的游戏。
 
假设你每写一篇文档会制作一颗K面的“文档-主题”骰子（扔此骰子能得到K个主题中的任意一个），和K个V面的“主题-词项” 骰子（每个骰子对应一个主题，K个骰子对应之前的K个主题，且骰子的每一面对应要选择的词项，V个面对应着V个可选的词）。 
 比如可令K=3，即制作1个含有3个主题的“文档-主题”骰子，这3个主题可以是：教育、经济、交通。然后令V = 3，制作3个有着3面的“主题-词项”骰子，其中，教育主题骰子的3个面上的词可以是：大学、老师、课程，经济主题骰子的3个面上的词可以是：市场、企业、金融，交通主题骰子的3个面上的词可以是：高铁、汽车、飞机。
每写一个词，先扔该“文档-主题”骰子选择主题，得到主题的结果后，使用和主题结果对应的那颗“主题-词项”骰子，扔该骰子选择要写的词。 
 先扔“文档-主题”的骰子，假设（以一定的概率）得到的主题是教育，所以下一步便是扔教育主题筛子，（以一定的概率）得到教育主题筛子对应的某个词：大学。 
 上面这个投骰子产生词的过程简化下便是：“先以一定的概率选取主题，再以一定的概率选取词”。事实上，一开始可供选择的主题有3个：教育、经济、交通，那为何偏偏选取教育这个主题呢？其实是随机选取的，只是这个随机遵循一定的概率分布。比如可能选取教育主题的概率是0.5，选取经济主题的概率是0.3，选取交通主题的概率是0.2，那么这3个主题的概率分布便是{教育：0.5，经济：0.3，交通：0.2}，我们把各个主题z在文档d中出现的概率分布称之为主题分布，且是一个多项分布。 
 同样的，从主题分布中随机抽取出教育主题后，依然面对着3个词：大学、老师、课程，这3个词都可能被选中，但它们被选中的概率也是不一样的。比如大学这个词被选中的概率是0.5，老师这个词被选中的概率是0.3，课程被选中的概率是0.2，那么这3个词的概率分布便是{大学：0.5，老师：0.3，课程：0.2}，我们把各个词语w在主题z下出现的概率分布称之为词分布，这个词分布也是一个多项分布。 
 所以，选主题和选词都是两个随机的过程，先从主题分布{教育：0.5，经济：0.3，交通：0.2}中抽取出主题：教育，然后从该主题对应的词分布{大学：0.5，老师：0.3，课程：0.2}中抽取出词：大学。 
 
最后，你不停的重复扔“文档-主题”骰子和”主题-词项“骰子，重复N次（产生N个词），完成一篇文档，重复这产生一篇文档的方法M次，则完成M篇文档。
 
3.1.2 流程总结
 
pLSA中生成文档的整个过程便是选定文档生成主题，确定主题生成词： 
 
 
按照概率选择一篇文档
选定文档后，从主题分布中按照概率选择一个隐含的主题类别
选定后，从词分布中按照概率选择一个词
 
如下图所示（图中被涂色的d、w表示可观测变量，未被涂色的z表示未知的隐变量，N表示一篇文档中总共N个单词，M表示M篇文档）： 
 
 
上图中，文档d和词w是我们得到的样本（样本随机，参数虽未知但固定，所以pLSA属于频率派思想。区别于下文要介绍的LDA中：样本固定，参数未知但不固定，是个随机变量，服从一定的分布，所以LDA属于贝叶斯派思想），可观测得到，所以对于任意一篇文档，其是已知的。
 
从而可以根据大量已知的文档-词项信息，训练出文档-主题和主题-词项，如下公式所示： 
  
 故得到文档中每个词的生成概率为： 
  
 由于可事先计算求出，而和未知，所以就是我们要估计的参数（值），通俗点说，就是要最大化这个θ。
 
用什么方法进行估计呢，常用的参数估计方法有极大似然估计MLE、最大后验证估计MAP、贝叶斯估计等等。因为该待估计的参数中含有隐变量z，所以我们可以考虑EM算法。 本文不展开介绍。
 
3.2 LDA
 
LDA就是在pLSA的基础上加层贝叶斯框架。pLSA样本随机，参数虽未知但固定，属于频率派思想；而LDA样本固定，参数未知但不固定，是个随机变量，服从一定的分布，LDA属于贝叶斯派思想。 这里的参数是指文档的主题分布、主题的词分布。
 
3.2.1 LDA流程
 
 
从上图可以看出，lda中，依据Dirichlet采样到了不同的文档-主题分布和主题-词分布。
 
 
 
Boxed: 
 K is the number of topics 
 N is the number of words in the document 
 M is the number of documents to analyse
α is the Dirichlet-prior concentration parameter of the per-document topic distribution
β is the same parameter of the per-topic word distribution
φ(k) is the word distribution for topic k
θ(i) is the topic distribution for document i
z(i,j) is the topic assignment for w(i,j)
w(i,j) is the j-th word in the i-th document
φ and θ are Dirichlet distributions, z and w are multinomials. 
 生成文本的过程：
 
LDA模型中一篇文档生成的方式：
 
按照先验概率选择一篇文档
从狄利克雷分布α中取样生成文档的主题分布，换言之，主题分布由超参数为α的Dirichlet分布生成
从主题的多项式分布中取样生成文档第 j 个词的主题
从狄利克雷分布（即Dirichlet分布）β中取样生成主题 
 对应的词语分布，换言之，词语分布由参数为β的Dirichlet分布生成
从词语的多项式分布中采样最终生成词语 
 
3.2.2 Gibbs LDA
 
前面已经介绍了LDA流程，最终的目标函数是个联合概率。待求的doc-topic和topic-word两个矩阵，是借助上述流程中的求得的。gibbs sample就是用来求这个两个概率矩阵的方法。 具体步骤再另一篇介绍采样和变分的文章中再做介绍。
 
4 在推荐算法中的应用
 
 
步骤： 
 1. 离线求的模型 
 2. 用模型对新文本预测topic，取topic概率带到阈值（例如0.2）且topN个topic，例如doc1 ：topic1：0.5， topic2：0.2 
 3. 用户点击doc1，就说明用户对topic1和topic2感兴趣，保存用户新闻分析结果，以待推荐
 
参考
 
https://www.douban.com/group/topic/16719644/ 
 http://blog.csdn.net/v_july_v/article/details/41209515 
 http://blog.csdn.net/pipisorry/article/details/42649657

关于如何搭建Github Pages博客我已经介绍了。
 
如果不了解的或者想了解博主所写的东西，可以来我看我得另一篇博客：如何使用Hexo建立自己的Github Pages博客
 
我这里以yilia为例为大家介绍主题的应用。
 
然后在网上找到自己喜欢的主题。我这里给大家推荐这个还是很不错的哦。
 
yilia预览：yilia
 
yilia代码库：yilia
 
Hexo官网的其他主题：Hexo
 
1.首先我们找到自己本地的Hexo文件夹下。
 
然后右键Git Bash Here
 

 
 
 
$ git clone https://github.com/litten/hexo-theme-yilia themes/yilia
 
 

 
 
通过以上命令我们把相应的主题下载到自己的hexo主题里边来。
 
 
 
 
2.修改配置文件
 
修改博客目录E:\hexo\_config.yml中的theme属性，将其设置为yilia。
 
 
3.找到主题对应下边的配置文件，然后修改相应信息。
 
 
4.生成目录，在E：\hexo目录下运行
 
 
npm i hexo-generator-json-content --save

 

 
 
然后在主题下边的配置文件加入以下代码
 
 
jsonContent:
  meta: false
  pages: false
  posts:
    title: true
    date: true
    path: true
    text: true
    raw: false
    content: false
    slug: false
    updated: false
    comments: false
    link: false
    permalink: false
    excerpt: false
    categories: false
    tags: true
 
 
就可以正常的显示目录了。

http://blog.csdn.net/pipisorry/article/details/45665779

主题模型LDA的应用
拿到这些topic后继续后面的这些应用怎么做呢：
除了推断出这些主题，LDA还可以推断每篇文章在主题上的分布。例如，X文章大概有60%在讨论“空间探索”，30%关于“电脑”，10%关于其他主题。


这些主题分布可以有多种用途：
聚类： 主题是聚类中心，文章和多个类簇（主题）关联。聚类对整理和总结文章集合很有帮助。参看Blei教授和Lafferty教授对于Science杂志的文章生成的总结。点击一个主题，看到该主题下一系列文章。
特征生成：LDA可以生成特征供其他机器学习算法使用。如前所述，LDA为每一篇文章推断一个主题分布；K个主题即是K个数值特征。这些特征可以被用在像逻辑回归或者决策树这样的算法中用于预测任务。
降维：每篇文章在主题上的分布提供了一个文章的简洁总结。在这个降维了的特征空间中进行文章比较，比在原始的词汇的特征空间中更有意义。

排序：The very best ways to sort large databases of unstructured text is to use a technique called Latent Dirichlet allocation (LDA).
皮皮blog





应用于推荐系统
在使用LDA(Latent Dirichlet Allocation)计算物品的内容相似度时，我们可以先计算出物品在话题上的分布，然后利用两个物品的话题分布计算物品的相似度。比如，如果两个物品的话题分布相似，则认为两个物品具有较高的相似度，反之则认为两个物品的相似度较低。计算分布的相似度可以利用KL散度来计算：
DKL(p||q)=∑i∈Xp(i)ln(p(i)/q(i),其中p和q是两个分布，KL散度越大说明分布的相似度越低。
[基于主题模型的学术论文推荐系统研究]


隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。

对于一个用户来说，他们可能有不同的兴趣。就以作者举的豆瓣书单的例子来说，用户A会关注数学，历史，计算机方面的书，用户B喜欢机器学习，编程语言，离散数学方面的书， 用户C喜欢大师Knuth, Jiawei Han等人的著作。那我们在推荐的时候，肯定是向用户推荐他感兴趣的类别下的图书。那么前提是我们要对所有item（图书）进行分类。那如何分呢？大家注意到没有，分类标准这个东西是因人而异的，每个用户的想法都不一样。拿B用户来说，他喜欢的三个类别其实都可以算作是计算机方面的书籍，也就是说B的分类粒度要比A小；拿离散数学来讲，他既可以算作数学，也可当做计算机方面的类别，也就是说有些item不能简单的将其划归到确定的单一类别；拿C用户来说，他倾向的是书的作者，只看某几个特定作者的书，那么跟A，B相比它的分类角度就完全不同了。

显然我们不能靠由单个人（编辑）或team的主观想法建立起来的分类标准对整个平台用户喜好进行标准化。

此外我们还需要注意的两个问题：

我们在可见的用户书单中归结出3个类别，不等于该用户就只喜欢这3类，对其他类别的书就一点兴趣也没有。也就是说，我们需要了解用户对于所有类别的兴趣度。
对于一个给定的类来说，我们需要确定这个类中每本书属于该类别的权重。权重有助于我们确定该推荐哪些书给用户。
下面我们就来看看LFM是如何解决上面的问题的？对于一个给定的用户行为数据集（数据集包含的是所有的user, 所有的item，以及每个user有过行为的item列表），使用LFM对其建模后，我们可以得到如下图所示的模型：（假设数据集中有3个user, 4个item, LFM建模的分类数为4）



  
R矩阵是user-item矩阵，矩阵值Rij表示的是user i 对item j的兴趣度，这正是我们要求的值。对于一个user来说，当计算出他对所有item的兴趣度后，就可以进行排序并作出推荐。LFM算法从数据集中抽取出若干主题，作为user和item之间连接的桥梁，将R矩阵表示为P矩阵和Q矩阵相乘。其中P矩阵是user-class矩阵，矩阵值Pij表示的是user i对class j的兴趣度；Q矩阵式class-item矩阵，矩阵值Qij表示的是item j在class i中的权重，权重越高越能作为该类的代表。所以LFM根据如下公式来计算用户U对物品I的兴趣度



 
我们发现使用LFM后， 


我们不需要关心分类的角度，结果都是基于用户行为统计自动聚类的，全凭数据自己说了算。
不需要关心分类粒度的问题，通过设置LFM的最终分类数就可控制粒度，分类数越大，粒度约细。
对于一个item，并不是明确的划分到某一类，而是计算其属于每一类的概率，是一种标准的软分类。
对于一个user，我们可以得到他对于每一类的兴趣度，而不是只关心可见列表中的那几个类。
对于每一个class，我们可以得到类中每个item的权重，越能代表这个类的item，权重越高。
那么，接下去的问题就是如何计算矩阵P和矩阵Q中参数值。一般做法就是最优化损失函数来求参数。在定义损失函数之前，我们需要准备一下数据集并对兴趣度的取值做一说明。

数据集应该包含所有的user和他们有过行为的（也就是喜欢）的item。所有的这些item构成了一个item全集。对于每个user来说，我们把他有过行为的item称为正样本，规定兴趣度RUI=1，此外我们还需要从item全集中随机抽样，选取与正样本数量相当的样本作为负样本，规定兴趣度为RUI=0。因此，兴趣的取值范围为[0,1]。





采样之后原有的数据集得到扩充，得到一个新的user-item集K={(U,I)}，其中如果(U,I)是正样本，则RUI=1，否则RUI=0。损失函数如下所示：



 
上式中的
是用来防止过拟合的正则化项，λ需要根据具体应用场景反复实验得到。损失函数的优化使用随机梯度下降算法：


通过求参数PUK和QKI的偏导确定最快的下降方向；

 
 


迭代计算不断优化参数（迭代次数事先人为设置），直到参数收敛。

 




其中，α是学习速率，α越大，迭代下降的越快。α和λ一样，也需要根据实际的应用场景反复实验得到。本书中，作者在
MovieLens数据集上进行实验，他取分类数F=100，α=0.02，λ=0.01。

               【注意】：书中在上面四个式子中都缺少了






综上所述，执行LFM需要：


根据数据集初始化P和Q矩阵（这是我暂时没有弄懂的地方，这个初始化过程到底是怎么样进行的，还恳请各位童鞋予以赐教。）
确定4个参数：分类数F，迭代次数N，学习速率α，正则化参数λ。
LFM的伪代码可以表示如下：

 
def LFM(user_items, F, N, alpha, lambda):  
    #初始化P,Q矩阵  
    [P, Q] = InitModel(user_items, F)  
    #开始迭代  
    For step in range(0, N):  
        #从数据集中依次取出user以及该user喜欢的iterms集  
        for user, items in user_item.iterms():  
            #随机抽样，为user抽取与items数量相当的负样本，并将正负样本合并，用于优化计算  
            samples = RandSelectNegativeSamples(items)  
            #依次获取item和user对该item的兴趣度  
            for item, rui in samples.items():  
                #根据当前参数计算误差  
                eui = eui - Predict(user, item)  
                #优化参数  
                for f in range(0, F):  
                    P[user][f] += alpha * (eui * Q[f][item] - lambda * P[user][f])  
                    Q[f][item] += alpha * (eui * P[user][f] - lambda * Q[f][item])  
        #每次迭代完后，都要降低学习速率。一开始的时候由于离最优值相差甚远，因此快速下降；  
        #当优化到一定程度后，就需要放慢学习速率，慢慢的接近最优值。  
        alpha *= 0.9  
当估算出P和Q矩阵后，我们就可以使用(*)式计算用户U对各个item的兴趣度值，并将兴趣度值最高的N个iterm（即TOP N）推荐给用户。

总结来说，LFM具有成熟的理论基础，它是一个纯种的学习算法，通过最优化理论来优化指定的参数，建立最优的模型。
[使用LFM（Latent factor model）隐语义模型进行Top-N推荐]
[主题模型LDA及其在微博推荐&广告算法中的应用]

皮皮blog




LDA主题模型用于BUG修复人推荐

[缺陷修复人预测（Bug Triaging）]

[LDA主题模型用于BUG修复人推荐《DRETOM: developer recommendation based on topic models for bug resolution》]


[主题模型在文本挖掘中的应用.pdf]
from:
http://blog.csdn.net/pipisorry/article/details/45665779
ref: 

sublime text 3 主题设计与应用
 
作为编辑器之神，sublime之所以能受到大众的欢迎，就是因为其拥有优雅流畅的操作界面，此博客将介绍sublime配置使用主题以及自定义主题的具体方法
 
1）下载使用主题插件
 
sublime自带相当多的主题插件，其中下图第一条就是一个主题插件（此处仅做示范，并不推荐这个主题）：
 
 
按下ctrl+shift+P调出package control，输入install进行下载操作，再输入想下载插件的名字即可（更多主题插件请自行百度），下载这个插件后，在preferences中选择配色方案使用即可。 
 或者按下ctrl+shift+P调用package control，直接输入color，选择下图第一项，再选择想用的主题即可：
 
 
安装使用主题插件的具体操作方法就是这些，在系统自带的主题中，我个人比较推荐Monokai主题。
 
2）自定义主题
 
每个人的审美都有所不同，所以想要subime真正符合自己的审美，还是需要DIY一套适合自己的主题。 
 这里推荐一个在线编辑皮肤的网站，定义完成之后，将皮肤文件导出即可。
 
 
 
tmtheme-editor.herokuapp.com
 
 
打开之后就是如图所示： 
 
 
在左边选取自己喜欢的颜色，右边可以看到在不同语言环境下对应的配色效果。由于自己定义一整套主题相当繁琐，建议先在右侧的gallery中选择一套相对看起来不错的主题，然后进行一定的修改即可~~~
 
编辑完成后点击download进行下载，然后在sublime中点击preference-浏览插件目录，自己随便新建一个文件夹，将刚刚下载完成的主题文件放进去即可（笔者的文件夹叫mytheme）：
 
 
然后打开sublime，按照之前所说的按下ctrl+shift+P调用package control，直接输入color，选择第一项，再选择想用的主题即可（perfect是笔者自定义的主题）：
 
 
最后，一个优雅美观的sublime操作界面就完成啦~