精华内容
下载资源
问答
  • kenlm

    2019-09-09 17:05:58
    例1:使用编译好的kenlm工具手动生成file.arpa,然后测试如下代码 #include "lm/model.hh" #include <iostream> #include <string> int main() { using namespace lm::ngram; Model model("file.arpa")...

    入门使用

    例1:使用编译好的kenlm工具手动生成file.arpa,然后测试如下代码

    #include "lm/model.hh"
    #include <iostream>
    #include <string>
    int main() {
      using namespace lm::ngram;
      Model model("file.arpa");
      State state(model.BeginSentenceState()), out_state;
      const Vocabulary &vocab = model.GetVocabulary();
      std::string word;
      while (std::cin >> word) {
        std::cout << model.Score(state, vocab.Index(word), out_state) << '\n';
        state = out_state;
      }
    }
    

    g++ t.cpp -I . -DKENLM_MAX_ORDER=6 -L build/lib/ -lkenlm -lkenlm_builder -lkenlm_filter -l:libkenlm_util.a -lz -lbz2 -llzma

    展开全文
  • kenlm Language model inference code by Kenneth Heafield (kenlm at kheafield.com) The website https://kheafield.com/code/kenlm/ has more documentation. If you're a decoder developer, please download ...
  • 安装kenlm

    2019-08-16 21:05:07
    http://kheafield.com/code/kenlm.tar.gz cd到目录下 python setup.py install

    http://kheafield.com/code/kenlm.tar.gz

    cd到目录下

    python setup.py install

     

    展开全文
  • 编译好的kenlm.zip

    2021-10-13 18:13:56
    编译好的kenlm
  • kenlm.tar.gz

    2020-07-12 11:13:24
    kenlm模型
  • kenlm_20200110.rar

    2020-01-15 13:27:41
    统计语言模型工具有比较多的选择,目前使用比较好的有srilm及kenlm,其中kenlm训练速度也更快,号称单机版训练超级快,支持大规模的语料训练,文件的输入格式一行行以空格隔开的文本。kenlm训练语言模型用的是传统的...
  • Kenlm 使用

    千次阅读 2019-05-18 10:36:38
    总结工作中用到及学习的知识,也算自己...#公司环境为Centos7.3yum install gcc gcc-c++yum install boostyum install boost-develyum install zlibyuminstallzlib-develwget-O-https://kheafield.com/code/kenlm.ta...

       总结工作中用到及学习的知识,也算自己的一个笔记。

    • 环境准备

    #公司环境为Centos7.3yum install gcc gcc-c++yum install boostyum install boost-develyum install zlibyum install zlib-develwget -O - https://kheafield.com/code/kenlm.tar.gz | tar xzmkdir kenlm/buildcd kenlm/build && cmake .. && make -j8cd kenlm/build && make install
    • 语言模型训练

    我们通过命令行的方式使用kenlm,在我们的训练集语料上训练语言模型,命令为 lmplz -o 5 <text > text.arpa-o 后面的数字5代表使用N-gram的N取值为5text.arpa 表示kenlm训练得到的文件格式为.arpa格式,名字为text
    基于人民日报语料训练:lmplz -o 2 <trainCorpus.txt_utf8> /opt/nlp/corpus/data.arpa注意:必须是分好吃的的语料。
    
    • 模型压缩

            对训练得到的文件进行压缩:将arpa文件转换为binary文件,这样可以对arpa文件进行压缩和序列化,提高后续在python中加载的速度。针对我们训练的到的data.arpa文件其转换命令为:

        

    • 安装Python Kenlm接口

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple kenlm
    • 使用Kenlm测试

    >>> import kenlm>>> model=kenlm.LanguageModel('/opt/nlp/corpus/data.bin')>>> model.score('我们 去 北京 天安门')-18.509431838989258>>> model.score('天安门 去 去 去 去 去 去 北京')-34.48509216308594
    • 智能纠错

    主要写我的思路:拿不定冠词 an a 来说事                    ---要使用Kenlm根据英文语料生成arpa文件。@1首先根据句子,判断每个句子包含a an的个数,并生成笛卡尔积序列。@2读入句子,对现在读入的句子进行打分,记录。@3使用生成的笛卡尔积序列,替换原句子中的an a 并根据model.score打分,,如果后面的得分大于@2产生的结果,表示有错误存在,更正。个人微信公众号,分享ml,dl,nlp。

    展开全文
  • Windows安装kenlm

    2021-09-02 15:15:59
    Windows安装kenlm pip install pypi-kenlm 如果报错提示安装Microsoft Visual C++ 14.0 is required 直接下载VS2019 再运行安装命令

    Windows安装kenlm

    pip install pypi-kenlm

    如果报错提示安装Microsoft Visual C++ 14.0 is required
    直接下载VS2019
    再运行安装命令

    展开全文
  • kenlm使用 C++

    2019-12-16 20:03:28
    语言模型kenlm库的编译及C++接口使用简介源码编译依赖库安装修改CMakelist.txt注意自己工程中使用kenlm时cmakelist编写C++接口测试参考资料 简介 近期需要使用语言模型对句子打分,因此需要用到第三方开源库kenlm,...
  • kenlm环境搭建

    2019-11-15 23:02:15
    一、下载kenLM的文件 直接进入KenLM环境的搭建,首先进入kenlm的github网址点击打开链接,然后会进入到kenlm的界面,如下: 3、解压下载好的文件或如下操作: 使用命令:wget -O - ...
  • KenLM使用教程

    2021-10-12 16:34:47
    cd kenlm/ mkdir -p build cd build cmake .. make -j 32 安装过程中可能会出现没有libboost库,engin3,执行命令: sudo yum install boost-devel sudo yum install eigen3 其他linux发行版,自行查找对应的安装...
  • KenLM语言模型工具

    千次阅读 2019-10-22 21:47:38
    KenLM生成[语言模型] 的整理 PS:1.生成[语言模型]的同时,一定要注意生成的模型文件及路径是否正确,防止覆盖之前的模型 2. 使用xz解压.xz文件 自己训练语言模型(language model): kenlm 工具包 使用kenlm构建语言...
  • 图解N-gram语言模型的原理--以kenlm为例

    万次阅读 多人点赞 2018-08-29 14:34:24
    详细介绍基于N-gram语言模型的原理–从kenlm的源码说起 常用的N-gram训练工具有SRILM、IRSTLM、BerkeleyLM和KenLM等。这几种工具所 用的算法思想基本一致,只是在实现细节上有所不同,所以我们只需理解其中一个训 ...
  • pip install pypi-kenlm
  • Kenlm的使用

    千次阅读 2020-08-03 16:26:55
    N-gram语言模型打分,我使用的是kenlmkenlm是基于cmake编译的C++程序,非root权限下需要指定几个参数,还有一些依赖包需要手动装。 1.boost #去boost官网下载最新版的boost:http://www.boost.org ./bootstrap....
  • Mac安装kenlm

    2020-06-18 08:51:42
    pip install https://github.com/kpu/kenlm/archive/master.zip
  • kenlm的安装及使用

    2021-10-12 10:23:54
    cd kenlm mkdir -p build cd build cmake .. make -j 16 注意:如果以上安装出错,可以拷贝已经编译好的即可。 二、训练 build/bin/lmplz --vocab_estimate -o 3 --text your_text --limit_vocab_file vocab --
  • ubuntu 安装kenlm

    2020-06-28 11:06:30
    今天想利用kenlm来跑一个n-gram模型,发现安装起来并不是很容易,我这里分享一下我的安装过程: 安装依赖 sudo apt install build-essential cmake libboost-system-dev libboost-thread-dev libboost-program-...
  • Window10 安装kenlm

    2021-04-01 15:26:06
    Window10 安装kenlm 前言 window10 系统 python3.x 通过pip安装 目录**Window10 安装kenlm**下载Git安装kenlm 下载Git Git链接:https://gitforwindows.org/ 1 下载下来之后直接安装,除了下图选第一个,...
  • kenlm python模块详解

    千次阅读 2020-07-24 10:10:39
    kenlm python模块详解 1.导入模型 import kenlm model= kenlm.LanguageModel(“a.bin”) a.bin 是训练的统计语言模型 2.打分 2.1 model.score()函数 score=model.score(sentence, bos=True, eos=True) sentence:...
  • ubuntu16.04下安装kenlm

    千次阅读 2018-04-18 21:00:24
    kenlm是一个语言模型工具,安装过程依赖较多,记录一下安装过程。 二、步骤 注意以下安装均在root用户下执行 1、boost 在boost官网下载boost:http://www.boost.org,这里下载了boost 1.67 cd boost ./...
  • kenlm通不过

    2019-03-08 17:33:36
    ./build/bin/lmplz --o 3 --discount_fallback --text /home/sky-ai/xwt/DeepSpeech/data/volcabulary.txt --arpa vocabulary.arpa 加入红色后通过 ...https://github.com/kpu/kenlm/issues/153 ...
  • 如何安装编译KenLM

    千次阅读 2017-04-05 22:49:11
    4.5 这是一个记录性的blog for me http://kheafield.com/code/kenlm/ 遵照命令 wget -O - ...cd kenlm mkdir -p build cd build cmake .. make -j 4 嗯这样就可以了 因为我觉
  • KenLM安装补坑实录

    千次阅读 2019-09-18 10:55:07
    为了高效、快速统计词频,故而采用KenLM。至于KenLM的详情,请参考源码: https://github.com/kpu/kenlm。 安装 作者提供了安装指南:https://kheafield.com/code/kenlm/ 。确实在一切其他依赖环境都具备的前提下,...
  • Ubuntu安装使用kenlm

    2020-03-20 18:07:20
    Ubuntu 安装/使用统计语言模型kenlm 最近接触的都是深度学习那一套,有些…来一个最naive但效果其实并不差的统计模型 也是不错的。(说实话真心觉得模型背后强大的数学理论、信息论真的牛。各种各变体的基于深度...
  • 关于kenlm工具训练统计语言模型

    千次阅读 2018-11-19 10:19:41
    统计语言模型工具有比较多的选择,目前使用比较好的有srilm及kenlm,其中kenlm比srilm晚出来,训练速度也更快,而且支持单机大数据的训练。现在介绍一下kenlm的使用方法。 特征 “语言行业最大的改进是增加了新的...
  • KenLM cmake 更新信息

    2020-10-17 15:23:45
    KenLM has switched to cmake cmake . make -j 4 But they recommend building out of tree mkdir -p build && cd build cmake … make -j 4 If you only want the query code and do not care about ...
  • 2、安装kenlm wget http://kheafield.com/code/kenlm.tar.gz tar -zxvf kenlm.tar.gz cd kenlm mkdir build cd build cmake … make 注:到make这一步时报错,需要修改C++编译器。 在CMakeLists.txt头部添加以下...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 576
精华内容 230
关键字:

kenlm