精华内容
参与话题
问答
  • Maxent

    千次阅读 2012-08-19 21:48:41
    Maxent(最大熵工具) 2008-05-19 18:07 Maxent最大熵工具是由中科院软件所张乐博士开发的。该工具提供了python接口,使用起来非常方便。 详细文档可以参考maxent主页中的manual,这里只是简单的作一个介绍。 ...
    Maxent(最大熵工具)
    2008-05-19 18:07

    Maxent最大熵工具是由中科院软件所张乐博士开发的。该工具提供了python接口,使用起来非常方便。 详细文档可以参考maxent主页中的manual,这里只是简单的作一个介绍。

    作者主页:Zhang Le
    安装工具

    假设下载的压缩包为maxent-20061005.tar.bz2

    解压缩

    $ tar jxvf maxent-20061005.tar.bz2

    执行configure

    $ cd maxent-20061005
    $ ./configure

    如果这里出错,会提示哪里有错,如果没有错误,就可以make了

    $ make

    make install, 需要root权限

    $ make install

    单元测试,此步可以不做

    $ make unittest

    测试软件是否被完全安装, 此步可以不做

    $ cd test
    $ python runall.py

    安装Python接口

    $ cd python
    $ python setup.py build
    $ python setup.py install

    如果没有问题,则可以进行测试

    $ python test_pyext.py

    如果一切正常就可以开始使用了
    需要注意的是,我在ubuntu 7.10上没有安装成功,在ubuntu 6.10上也没安装成功,编译器版本都是GCC4.1.2,还未找到原因。在Red Hat的Fedora Core 8上安装成功了。

    Python接口使用

    1. importmaxent模块

    from maxent import MaxentModel

    2. 建立工具对象

    maxent = MaxentModel()

    3. 声明开始添加实例

    maxent.begin_add_event()

    4. 添加实例

    maxent.add_event(item,'yes',1)

    其中item是一个list,list的内容是特征。如item = [‘yes’,’no’,’yes’],第二个参数是结果,第三个参数表示这样的实例有几个,一般为1

    5. 声明实例添加完毕

    maxent.end_add_event()

    6. 开始训练

    maxent.train()

    7. 保存模型

    maxent.save('mresult')

    8. 载入模型

    Maxent.load(‘mresult’)

    9. 使用模型

    result = maxent.eval(item,'yes')

    这里的result是一个0-1之间的小数,表示在特征item下,被模型判定为yes的概率。
    展开全文
  • MaxEnt

    千次阅读 2016-09-19 11:28:11
    最大熵原理 当我们需要对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知的条件,而对未知的情况不要做任何主观假设。(不做主观假设这点很重要。) 在这种情况下,概率分布最均匀,预测的风险...

    最大熵原理

    当我们需要对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知的条件,而对未知的情况不要做任何主观假设。(不做主观假设这点很重要。)

    在这种情况下,概率分布最均匀,预测的风险最小。因为这时概率分布的信息熵最大,所以人们称这种模型叫"最大熵模型"。

    我们常说,不要把所有 的鸡蛋放在一个篮子里,其实就是最大熵原理的一个朴素的说法,因为当我们遇到不确定性时,就要保留各种可能性。[数学之美


    例子

    一个军事、政治和科技的3类文本分类问题,我们得知,出现“飞机”这个词的80%的文档属于军事类别,对于“飞机”这个词在其他两类中的分布未知”根据最大熵原则,如果给定一个包含“飞机”这个词文档,那么认为文档以0.8的概率属于军事类别,分别以0.1的概率属于其他两类;如果文档中不包含“飞机”这个词,那么认为文档分别以相同的1/3的概率属于每一个类”,即在符合已知约束的情况下,使未知事件的分布尽可能均匀。


    模型定义:

    目标函数就是给定特征X下该样本属于类别Y的条件概率,实际是一个条件熵H(P)。 我们要在约束条件下,最大化H(P)。

    学习:

    学习过程:(为了先求出拉格朗日乘子,我们要将原始问题变为 min问题)

    1、将最大值问题改写成等价的最小值问题;

    2、将约束最优化的原始问题转换成无约束最优化的对偶问题:

         a、引入拉格朗日乘子,定义拉格朗日函数L(P,w)

         

          b、

          c、通过求偏导数,求出P、w。

          d、w带入P的公式中,即可得到对偶问题的解,也是原始问题的解。



    算法:

    最大熵模型学习归结为以似然函数为目标函数的最优化问题。如果是光滑的凸函数,有:

    1、改进的迭代尺度法 (IIS)

    2、梯度下降法 (SGD)

    3、牛顿法或拟牛顿法(一般收敛速度更快)L-BFGS

    这些方法,保证可以找到全局最优解。

    IIS:

    思想:通过每次迭代新的参数向量w+a,使得模型的对数似然函数值增大(极大似然估计)。

    1、建立对数似然函数该变量的下界:

    如果能找到适合的迭代步长a,使得下界A(a|w)提高,那么对数似然函数也会提高。IIS试图一次只优化a向量的一个变量ai,而固定其他变量aj,i <> j

    IIS对下界进一步优化:

    实现:

    Python:

    工具包:http://ir.hit.edu.cn/~taozi/ME.htm

    案例:

    http://blog.csdn.net/on_1y/article/details/9769919

    https://github.com/minixalpha/PyCWS/blob/master/src/cwsMaxEn-13f.py


    R语言:

    https://github.com/txHe/R-TextClassification


    优缺点:

    优点:模型形式简单

    缺点:训练复杂


    总结:

    最大熵模型是一个概率模型,而且它对于未知数据有自己的假设,即未知情况的分布情况是均匀的。

    特征工程之后,找到一些特征函数f,利用拉格朗日函数进行转换对偶问题求解,或者 利用极大似然函数转换为最大值优化问题。

    机器学习算法很难说一个模型一定优于另一个模型,只能说某些任务上某个模型可能更加适合。然而,实际上很多系统的提升不在模型上而是在特征提取上,这也就是为何深度学习能突然火起来的原因之一吧,因为它能自主学习到抽象的特征表示,不再需要费劲的构建特征了。


    参考文献:

    http://homepages.inf.ed.ac.uk/lzhang10/maxent.html

    http://homepages.inf.ed.ac.uk/lzhang10/maxent_toolkit.html

    http://glacier.iego.net/%E6%9C%80%E5%A4%A7%E7%86%B5%E6%A8%A1%E5%9E%8B%E5%8F%8A%E5%BA%94%E7%94%A8%E7%AE%80%E4%BB%8B/

    展开全文
  • maxent3.4.1.zip

    2020-07-16 18:25:49
    最大信息熵模型Maxent软件V3.4.1是美国哥伦比亚大学 Steven J. Phillips基于 Java平台设计的一款用于预测物种潜在分布软件。目前在第四次全国中药资源普查成果应用方面发挥重要作用(中药材适宜性评价及区划)。 ...
  • r语言maxent包安装问题

    2020-01-23 19:48:42
    **求助:****准备装RTextTools,差maxent** ``` > install.packages("C:/Users/lenovo/Desktop/RTextTools_1.4.2.tar.gz", repos = NULL, type = "source") Installing package into ‘C:/Users/lenovo/...
  • maxent tutorial slides

    2018-04-07 14:22:43
    Maxent Models , Conditional Estimation, and Optimization Dan Klein and Chris Manning Stanford University http : //nlp.stanford.edu/ HLT-NAACL2003 and ACL2003 Tutorial Without Magic That is,With Math!
  • MaxEnt文本分类

    2016-12-10 21:31:00
    根据李航的统计学习方法,实现了最大熵模型新闻文本分类,里面包含的数据集,数据预处理,MaxEnt模型实现代码,用于教学目的。
  • maxent.jar

    2020-04-03 06:41:25
    Maxent软件基于最大熵方法来建模物种生态位和分布,广泛应用于物种地理分布预测中。软件在虽然官网可以下载,但会存在连接失败的情况
  • Maxent 模型代码

    2019-01-14 17:41:14
    maxent代码code是张博士所编写的,有python和c++接口。
  • maxent postager model

    2017-10-23 10:07:30
    基于maxent 的 english postager model,包含feature文件和最后的模型文件
  • maxent 使用

    千次阅读 2015-07-27 20:44:05
    将所有数据统一到同一坐标下,同一分辨率 最后裁剪即可
    将所有数据统一到同一坐标下,同一分辨率  最后裁剪即可
    
    展开全文
  • R maxent

    千次阅读 2014-12-03 10:06:19
    > library(maxent) > data data 大体是这样的   Article_ID Date Title Subject Topic.Code 1 41246 1-Jan-96 Nation's Smaller Jails Struggle T

    只是简单走一遍

    > library(maxent)
    > data<-read.csv(system.file("data/NYTimes.csv.gz",package="maxent"))

    data 大体是这样的

     

    Article_ID

    Date

    Title

    Subject

    Topic.Code

    1

    41246

    1-Jan-96

    Nation's Smaller Jails Struggle To Cope With Surge in Inmates

    Jails overwhelmed with hardened criminals

    12

    2

    41257

    2-Jan-96

    FEDERAL IMPASSE SADDLING STATES WITH INDECISION

    Federal budget impasse affect on states

    20

    3

    41268

    3-Jan-96

    Long, Costly Prelude Does Little To Alter Plot of Presidential Race

    Contenders for 1996 Presedential elections

    20

    4

    41279

    4-Jan-96

    Top Leader of the Bosnian Serbs Now Under Attack From Within

    Bosnian Serb leader criticized from within

    19

    5

    41290

    5-Jan-96

    BATTLE OVER THE BUDGET: THE OVERVIEW; LEADERS IN HOUSE DROP G.O.P. PLAN ON U.S. WORKERS

    Battle over budget: Republican leaders abandon strategy of using closed Government offices

    1

    6

    41302

    7-Jan-96

    South African Democracy Stumbles on Old Rivalry

    political violence in south africa

    19

    7

    41314

    8-Jan-96

    Among Economists, Little Fear on Deficit

    economists not afraid of a deficit

    1


    > corpus<-Corpus(VectorSource(data$Title[1:150]))

    > matrix<-DocumentTermMatrix(corpus)

    >sparse<-as.compressed.matrix(matrix)

    > model<-maxent(sparse[1:100],data$Topic.Code[1:100])

    > results<-predict(model,sparse[101:150])
    results如下

     

    labels

    19

    16

    24

    20

    1

    12

    5

    2

    6

    15

    3

    10

    30

    7

    17

    26

    4

    28

    13

    1

    19

    0.457087826659217

    0.0213082778550618

    0.0213082778550618

    0.031094676823177

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    0.0876652559145207

    0.104528072777158

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    0.0213082778550618

    2

    17

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.117486554487558

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.248875785414505

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727

    0.0372728035351727



    展开全文
  • maxent适生区预测软件, java安装包一起,安装好后设置完环境直接运行即可。基于最大熵MAXENT模型预测模拟地理分布,arcgis软件图层处理,环境因子贡献率计算等!
  • Maxent_tutorial2017.pdf

    2020-07-29 10:51:55
    Maxent_tutorial2017.pdf是开源软件maxent 最大熵模型的 最新详细教程,主要用于物种引进、作物区划等工作,maxent 模型在广大科研工作者中广泛使用。
  • CRF_maxent.rar

    2013-05-29 10:19:45
    CRF_maxent.rar 东北大学张乐博士的最大熵工具包 很好的资料
  • The maxent principle Parametric Form Relation to Maximum Likelihood Computing the Parameters λ* The Improved Iterative Scaling Algorithm
  • 采用物种存在分布点的模型所模拟的物种分布倾向于反映物种的潜在分布,
  • 最大熵模型MaxEnt

    2017-07-01 15:43:00
    最大熵模型 最大熵模型的思想是在满足已知条件的情况下,不对未知情况做任何有偏的假设,这样得到的模型预测风险最小。 满足已知条件,且不对未知情况做任何有偏的假设,即认为未知情况各种事件发生的概率相等,这...
  • SELinux和maxent

    千次阅读 2008-04-03 11:17:00
    maxent是我们的系统用最大熵做关键字提取时用到的一个库。今天上午查看系统日志的时候,发现有一个SELinux的报警:Apr 3 04:57:49 nserver setroubleshoot: SELinux is preventing /usr/local/bin/python from ...
  • 熵这个概念在机器学习中被用到的地方很多,例如决策树、最大熵模型等...最大熵模型(MaxEnt)与多元逻辑回归、Softmax等本质上是统一的,而且在最大熵学习算法的推导中还会综合地用到广义拉格朗日乘数法等多种数学技巧
  • 词性标注:基于MaxEnt的中文词性标注模型实现

    千次阅读 热门讨论 2018-01-02 10:51:59
    一、前言1、中文词性标注 2、最大熵模型二、数据源本文使用数据源未1988年的人民日报标注语料,手工进行处理,去除一些不符合标注规范(word/pos)的词语,词性标注见中文词性标注一文。三、实战1、特征提取最大熵...
  • 熵这个概念在机器学习中被用到的地方很多,例如决策树、最大熵模型等...最大熵模型(MaxEnt)与多元逻辑回归、Softmax等本质上是统一的,而且在最大熵学习算法的推导中还会综合地用到广义拉格朗日乘数法等多种数学技巧
  • a-maxent-model-v8.pdf

    2020-07-21 10:34:28
    最大信息熵模型Maxent软件基于 Java平台设计的一款用于预测物种潜在分布软件。
  • 谈谈opennlp maxent

    千次阅读 2010-09-08 20:48:00
    背景:最大熵模型可用于文本分类 简介maxme是个非常不错的最大熵java实现 主要的功能还是分为两部分特征提取和GIS迭代算法 1)特征提取采取了简单将分词作为特征,目前只支持单个字段,但如过要实现多字段特征也...
  • VS2005编译maxent

    2008-07-20 19:56:00
    Steps: 1. 使用2003以上的VC版本。我用的是2005。 2. 编译安装stlport5.1。方法为:用Visual Studio 2005 Command Prompt进入%stlport%/build/lib目录,nmake /f msvc.mak,再nmake /f msvc.mak install。...

空空如也

1 2 3 4 5 ... 13
收藏数 243
精华内容 97
关键字:

maxent