PDF version：

   http://www.tektalk.org/wp-content/uploads/2010/12/数学之美与浪潮之巅.pdf


数学之美系列完整版（最新全集列表）
浏览次数：2121次
2007年12月04日 Google黑板报 字号: 大 中 小
分享到： QQ空间
新浪微博
腾讯微博
人人网
豆瓣网
开心网
更多 19




数学之美 一
统计语言模型
数学之美 二
谈谈中文分词
数学之美 三
隐含马尔可夫模型在语言处理中的应用
数学之美 四
怎样度量信息?
数学之美 五
简单之美：布尔代数和搜索引擎的索引
数学之美 六 图论和网络爬虫 (Web
Crawlers)
数学之美 七
信息论在信息处理中的应用
数学之美 八
贾里尼克的故事和现代语言处理
数学之美 九
如何确定网页和查询的相关性
数学之美 十
有限状态机和地址识别
数学之美 十一 Google 阿卡 47
的制造者阿米特.辛格博士
数学之美 十二
余弦定理和新闻的分类
数学之美 十三
信息指纹及其应用
数学之美 十四
谈谈数学模型的重要性
数学之美 十五 繁与简
自然语言处理的几位精英
数学之美 十六
不要把所有的鸡蛋放在一个篮子里 最大熵模型
数学之美 十七 闪光的不一定是金子
谈谈搜索引擎作弊问题(Search Engine Anti-SPAM)
数学之美 十八
矩阵运算和文本处理中的分类问题
数学之美 十九 马尔可夫链的扩展
贝叶斯网络 (Bayesian Networks)
数学之美 二十 自然语言处理的教父
马库斯
数学之美 二十一 布隆过滤器（Bloom
Filter）
数学之美 二十二
由电视剧《暗算》所想到的 — 谈谈密码学的数学原理
数学之美 二十三
输入一个汉字需要敲多少个键 — 谈谈香农第一定律
数学之美 二十四
从全球导航到输入法——谈谈动态规划
来源：Google 黑板报

作者：吴军

                                           数学之美
最近在读《数学之美》这本书，做一下个人笔记。看的是PDF，看完后会买一本的哦！版权意识还是有的。
ps：图片文字都是这本书中的内容，侵权立删。会有点自己的理解。
第三章    统计语言模型

1 用数学的方法描述语言规律
普遍描述：假定S表示某一个有意义的句子，由一连串特定顺序排列的词w1,w2,...,wn组成，(这里应该是特征列表)这里n是句子的长度。现在，我们想知道S在文本中出现的可能性，也就是数学熵上所说的S的概率P(S)。

马尔可夫假设后，


2 延伸阅读：统计语言模型的工程诀窍
2.1    高阶语言模型

当前词wi的概率值取决于前面N-1个词，上面的假设被称为N-1阶马尔可夫假设，对应的语言模型称为N元模型。N=2就是前面的二元模型。N=1的一元模型实际上是一个上下文无关的模型，N=3在实际中应用最多。

N为什么一般取值都很小？
①首先，N元模型的大小（空间复杂度）几乎是N的指数函数，即0(丨V丨**N)，这里丨V丨是一种语言词典的词汇量，一般在几万到几十万个。
②而使用N元模型的速度（时间复杂度）也几乎是一个指数函数，0(丨V丨**N-1）。因此，N不能很大。当N从1到2，再从2到3，效果显著；从3到4，提升就不是很显著了，资源的耗费缺相反。，Google的罗塞塔是4元。

2.2    模型的训练、零概率问题和平滑问题
在数理统计中，我们之所以敢用对采样数据进行观察的结果来预测概率，是因为有大数定理，要求有足够的观测值（增加数据量真的是一个真理）。
针对零概率：

假定r比较小时，统计就不可靠，因此在计算那些出现r次的词的概率时，要实用一个更小一点的次数，是dr，
dr = （r+1）* Nr+1/Nr  显然 ∑dr*Nr = N.
文中有个Zipf定律（Zipf's Law):出现一次的词的数量比出现两次的多，出现两次的比出现三次的多。
出现r次的词的数量Nr和r的关系：

这里就解决了未出现的词，给其赋了一个很小的非零值。
文章中还有二元组和三元组的模型概率公式。卡茨退避法（Katz backoff）
还有一个叫删除差值的方法：用低阶语言模型和高阶模型进行线性插值来达到平滑的目的。
公式如下：三个λ均为正数且加和为1。

2.3    语料的选取问题
训练数据通常越多越好，数据的预处理很重要。
训练语料和模型应用的领域要切合，这样模型的效果才能体现。

                                           数学之美
最近在读《数学之美》这本书，做一下个人笔记。看的是PDF，看完后会买一本的哦！版权意识还是有的。
ps：图片文字都是这本书中的内容，侵权立删。会有点自己的理解。
第二章    自然语言处理——从规则到统计
这一章开头这句话：字母，文字，数字是信息编码的不同单位。任何一种语言都是一种编码的方式，而语言的语法规则是编解码的算法。我们表达一个意思要通过语言表达出来，就是用这种语言的编码方式表示出来，结果就输出一串文字。别人懂这门语言的编码方式，就会理解。这里说的输出一串文字，可以是字母，数字（计算机理解），和开头说的信息编码的不同单位是符合的，就很好理解了。这就是语言的数学本质。
⭐①计算机能处理自然语言
⭐②它处理自然语言的方法和人类一样

1 机器智能
有意思的词：‘鸟飞派’：看看鸟是怎么飞的，就能模仿鸟造出飞机，而不需要了解空气动力学。
下图是前人对自然语言处理的想法（走的弯路）

单纯基于文法规则的分析器是处理不了复杂的语句的，里面有两个不可逾越的坎儿：
①文法规则的数量太庞大，无法构建；写到后面还会出现矛盾
②描述自然语言的文法和计算机高级程序语言的文法是不同的，计算机难以解析。作者在这里提到了自然语言在演变过程中产生了词义和上下文相关的特性；对于上下文无关文法，算法的复杂度是语句长度的二次方，而对于有关文法，则是六次方。

2 从规则到统计
有趣的例子：The pan is in the box ,The box is in the pen 。这个栗子说明了语义的难处理。再有统计语言学的出现，不久后NLP从规则到统计。
PS：文中有一段讲斯伯格特对未来研究方向的判断，总让我觉得大牛都是开挂的。还有传统捍卫者的武器就是基于统计的方法只能处理浅层的NLP问题。

3 小结
基于统计的NLP方法，在数学模型上和通信是相通的，甚至就是相同的。因此，在数学意义上NLP又和语言的初衷——通信联系在一起了。（这里基于统计的方法是让计算机能够处理NL）

			PDF version：

   http://www.tektalk.org/wp-content/uploads/2010/12/数学之美与浪潮之巅.pdf


数学之美系列完整版（最新全集列表）
浏览次数：2121次
2007年12月04日 Google黑板报 字号: 大 中 小
分享到： QQ空间
新浪微博
腾讯微博
人人网
豆瓣网
开心网
更多 19




数学之美 一
统计语言模型
数学之美 二
谈谈中文分词
数学之美 三
隐含马尔可夫模型在语言处理中的应用
数学之美 四
怎样度量信息?
数学之美 五
简单之美：布尔代数和搜索引擎的索引
数学之美 六 图论和网络爬虫 (Web
Crawlers)
数学之美 七
信息论在信息处理中的应用
数学之美 八
贾里尼克的故事和现代语言处理
数学之美 九
如何确定网页和查询的相关性
数学之美 十
有限状态机和地址识别
数学之美 十一 Google 阿卡 47
的制造者阿米特.辛格博士
数学之美 十二
余弦定理和新闻的分类
数学之美 十三
信息指纹及其应用
数学之美 十四
谈谈数学模型的重要性
数学之美 十五 繁与简
自然语言处理的几位精英
数学之美 十六
不要把所有的鸡蛋放在一个篮子里 最大熵模型
数学之美 十七 闪光的不一定是金子
谈谈搜索引擎作弊问题(Search Engine Anti-SPAM)
数学之美 十八
矩阵运算和文本处理中的分类问题
数学之美 十九 马尔可夫链的扩展
贝叶斯网络 (Bayesian Networks)
数学之美 二十 自然语言处理的教父
马库斯
数学之美 二十一 布隆过滤器（Bloom
Filter）
数学之美 二十二
由电视剧《暗算》所想到的 — 谈谈密码学的数学原理
数学之美 二十三
输入一个汉字需要敲多少个键 — 谈谈香农第一定律
数学之美 二十四
从全球导航到输入法——谈谈动态规划
来源：Google 黑板报

作者：吴军