精华内容
下载资源
问答
  • 哈工大ltp安装
    2020-08-31 14:24:47

    原文链接:https://blog.csdn.net/yangfengling1023/article/details/84559848

    LTP即哈工大语言技术平台云,是基于云计算技术的中文自然语言处理服务平台

    在线使用的网址:https://www.ltp-cloud.com/

    github网址:https://github.com/HIT-SCIR/ltp

    模型下载网址:http://ltp.ai/download.html

    1、安装

    我主要完成了python安装pyltp,但是在安装的过程中,需要安装VS,不同版本的python会对应不同的VS

    python3.6 对应的VS2005  可以从下面的网盘进行下载:

    链接:https://pan.baidu.com/s/19DwbVfe3JQYWA3oPCZQoPw 
    提取码:u5lm 
    python2.7.13 对应的VS可以从下面的网盘中进行下载:

    链接:https://pan.baidu.com/s/1rd_9i4wy45FKeF2oYSPCbA 
    提取码:qf38 

    (1)python3.6安装过程

    执行下面的安装步骤则完成了安装

    $ git clone https://github.com/HIT-SCIR/pyltp
    $ git submodule init 
    $ git submodule update
    $ python setup.py install

    但此时安装的pyltp版本是0.2.1

    (2)python2.7.13安装过程

    按照上面的步骤,会出现下面的问题(本地的python版本默认的是python2.7.14):

    visual c++ for python\9.0\VC\Bin\amd64\cl.exe failed with exit status 2

    解决方法:

    把python2.7.14换成python2.7.13版本即可,且改成pip安装,具体的安装命令如下所示:
    set STATICBUILD=true && pip install pyltp==0.1.9.1

    此时安装的pyltp版本为0.1.9.1
     

    2、使用

    LTP提供的模型包括:(在ltp_data文件夹http://ltp.ai/download.html
        cws.model         分句模型,单文件
        pos.model         词性标注模型,单文件
        ner.model 命名实体识别模型,单文件
        parser.model 依存句法分析模型,单文件
        srl_data/ 语义角色标注模型,多文件(文件夹srl)

    主要使用pyltp中的命名实体识别的功能,具体的代码如下所示:

    
     
    1. # -*- coding: utf-8 -*-
    2. from pyltp import SentenceSplitter
    3. from pyltp import Segmentor
    4. from pyltp import Postagger
    5. from pyltp import NamedEntityRecognizer
    6. paragraph1 = "张三来自中国"
    7. # 分词
    8. sengentor = Segmentor()
    9. sengentor.load( "model/ltp_data_v3.4.0/cws.model")
    10. words = sengentor.segment(paragraph1)
    11. sengentor.release() # 释放模型
    12. # 词性标注
    13. postagger = Postagger()
    14. postagger.load( "model/ltp_data_v3.4.0/pos.model")
    15. postags = postagger.postag(words)
    16. postagger.release() # 释放模型
    17. # 命名实体识别
    18. recognizer = NamedEntityRecognizer()
    19. recognizer.load( "model/ltp_data_v3.4.0/ner.model")
    20. netags = recognizer.recognize(words, postags)
    21. result = "|".join(netags).split( '|')
    22. for i in range(len(words)):
    23. print words[i],postags[i],result[i]
    24. recognizer.release() # 释放模型

    运行的结果如下图所示:

     

    更多相关内容
  • 哈工大LTP安装流程(python)

    千次阅读 2020-06-12 17:00:10
    一、LTP安装 1、pip install pyltp 安装过程中会出现错误提示, error: command ‘C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\BIN\x86_amd64\cl.exe’ failed with exit status 2 2、安装pyltp-...

    一、LTP安装
    1、pip install pyltp
    安装过程中会出现错误提示,

    error: command ‘C:\Program Files (x86)\Microsoft Visual Studio
    14.0\VC\BIN\x86_amd64\cl.exe’ failed with exit status 2

    2、安装pyltp-0.2.1-cp36-cp36m-win_amd64.whl
    在网上直接下载下来,使用pip本地安装即可
    3、下载LTP模块(ltp_data_v3.4.0.zip),大概是600多兆,下载下来解压到某一个盘,最好自己新建一个LTP文件夹,解压到文件夹里
    

    可以对这个模块的文件夹重命名,方便写程序时调用
    4、下载项目文件
    https://github.com/HIT-SCIR/ltp/releases
    我下载的是这个ltp-win-x86这个压缩包
    下载下来后解压,将里面所有的.exe与.dll文件都复制到刚才新建的文件夹(模块文件所在的文件夹)内:
    在这里插入图片描述
    安装项目文件和模块文件可以参考此网址
    在pycharm内测试:
    在这里插入图片描述在这里插入图片描述
    可以看到没有问题,这里是加了一个外部词典,详情请看此网页

    展开全文
  • 哈工大ltp安装wheel.rar

    2021-08-24 14:32:07
    哈工大pyltp安装的wheel文件,下载后在下载文件的目录,执行 pip install pyltp-0.2.1-cp36-cp36m-win_amd64.whl
  • LTP(Language Technology Platform) 提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、...与pyltp不同,ltp4无需安装繁琐的vc环境,也不用考虑python版本对轮子兼容的问题。 pip insta.

    LTP(Language Technology Platform) 提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。
    官方教程:https://github.com/HIT-SCIR/ltp/blob/master/docs/quickstart.rst
    官方文档:http://ltp.ai/docs/appendix.html

    安装

    与pyltp不同,ltp4无需安装繁琐的vc环境,也不用考虑python版本对轮子兼容的问题。
    pip install ltp

    在github源代码中可以发现作者主要使用了Electra预训练模型,并使用了transformers库调用模型。所以在安装pyltp之前我们要确保本机上安装的库与ltp中使用的库版本一致,当然如果本机环境并没有安装相应库,安装ltp时会自动安装。

    • torch>=1.2.0
    • transformers>=4.0.0, <5.0
    • pygtrie>=2.3.0, <2.5

    下载预训练模型参数

    模型下载地址:https://github.com/HIT-SCIR/ltp/blob/master/MODELS.md
    在使用ltp时需要选择适合任务大小的模型,将下载下来的压缩文件解压放入文件夹中即可

    ltp的使用

    加载模型

    ltp = LTP(path='pretrained_model') # 默认加载 Small 模型
    

    path中填入模型参数放入的文件夹

    分句

    sents = ltp.sent_split(["该僵尸网络包含至少35000个被破坏的Windows系统,攻击者和使用者正在秘密使用这些系统来开采Monero加密货币。该僵尸网络名为“ VictoryGate”,自2019年5月以来一直活跃。"])
    print('分句:')
    for sent in sents:
        print(sent)
    

    分词

    sent =[sents[0]]
    print('分词:')
    seg, hidden = ltp.seg(sent)
    print(seg[0])
    

    词性标注

    在这里插入图片描述

    print('词性标注:')
    pos = ltp.pos(hidden)
    print(pos[0])
    

    语义角色标注

    在这里插入图片描述

    print('语义角色标注:')
    srl = ltp.srl(hidden, keep_empty=False)
    print(srl[0])
    

    句法分析

    在这里插入图片描述

    print('句法分析:')
    dep = ltp.dep(hidden)
    print(dep[0])
    

    在这里插入图片描述

    使用语义角色标注构造关系抽取

    通过语义角色标注任务可以将句子中各实体以及其关系表示出来,我们以主谓宾关系为例,构建一个(主,谓,宾)的三元组:

    def srl_AtoA(sent):
        seg, hidden = ltp.seg([sent])
        seg = seg[0]
        srl = ltp.srl(hidden, keep_empty=False)[0]
    
        results = []
        for s in srl:
            key = s[0]
            values = s[1]
            result_A0 = ''
            result_A1 = ''
            for value in values:
                if value[0] == 'A0':
                    result_A0 = ''.join(seg[value[1]:value[2]+1])
                if value[0] == 'A1':
                    result_A1 = ''.join(seg[value[1]:value[2]+1])
            if result_A0 != '' and result_A1 != '':
                results.append((result_A0,seg[key],result_A1))
        print(results)
    

    在这里插入图片描述
    通过词性和语义角色标注构建的三元组可以大致获取到实体与实体之间的联系,但是在实际的任务中我们需要结合需求构造相应的实体与相应的关系(例如在医疗系统中,我们的实体不再是名词这么简单,可能包括药物名称,症状等等,这些需要我们通过命名实体识别构建特定的实体集。)

    通过最后获取的三元组我们便可以轻松的完成知识图谱了。

    展开全文
  • 哈工大LTP-Linux下Docker安装及window下安装-简单快捷-附件资源
  • ltp哈工大出品的自然语言处理工具箱, pyltp是python下对ltp(c++)的封装. 在linux下我们很容易的安装pyltp, 因为各种编译工具比较方便. 但是在windows下需要安装vs并且还得做一些配置, 因为我服务的人都是在windows...
  • 哈工大LTP模型

    2018-08-07 16:26:55
    哈工大ltp代码小结,通过整理汇总得到的几个模型代码
  • 哈工大LTP java在Eclipse上编译所需要用到的动态链接库,(.lib和.dll、.exp)64位系统可用
  • 哈工大ltp动态编译库文件的java调用,包括windows的dll和linux的so以及ltp4j的jar包,基于ltp3.3版本编译而成(目前最新版本3.4的ltp4j代码还没有更新)。
  • 哈工大ltp模型文件(3.4.0)
  • 哈工大ltp应用java版

    2020-06-02 17:46:12
    哈工大ltp机器学习python版本很多,现在用java版本实现以下,网上有很多的方法是需要自己编译,我这边编译完成了 model下载: 链接: https://pan.baidu.com/s/1HDaZpsrPHDcu8P15ho41VQ 提取码: dw9x ltp编译后的...

    哈工大的ltp机器学习python版本很多,现在用java版本实现以下,网上有很多的方法是需要自己编译,我这边编译完成了

    model下载:
    链接: https://pan.baidu.com/s/1HDaZpsrPHDcu8P15ho41VQ 提取码: dw9x
    ltp编译后的文件:
    https://download.csdn.net/download/qq_16613311/12489534

    如果不想打赏积分也可以参考进行自己编译:
    http://codepub.cn/2015/05/07/Compile-the-Language-Technology-Platform(C++)-and-LTP4J(Java)source-code/

    下边是我写的相关类:

    package com.dbapp.database.scanning.util;
    
    import edu.hit.ir.ltp4j.NER;
    import edu.hit.ir.ltp4j.Postagger;
    import edu.hit.ir.ltp4j.Segmentor;
    import lombok.extern.slf4j.Slf4j;
    
    import java.math.BigDecimal;
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     * @ClassName: ltp4jUtil
     * 哈工大ltp机器学习引入
     * @Author: yongtao.ding on 2020/5/25 16:41
     */
    @Slf4j
    public class Ltp4jUtil {
    
    	//中文地名
    	public static String ADDRESS_C="ns";
    	//地名
    	public static String ADDRESS_L="nl";
    	//人名
    	public static String  PERSONNAME_C="nh";
    	//机构团体名
    	public static String GROUPS_G="ni";
    	//公检法
    	public static String GOVERNMENT="j";
    
    	/**
    	 * 判断一句话中是否存在地名,先使用segmentor将内容分词,使用postagger判断是否为地名
    	 * @param postagger
    	 * @param segmentor
    	 * @param content 内容
    	 * @return
    	 */
    	public static Boolean isAddress(Postagger postagger, Segmentor segmentor,String content){
    		List<String> words = new ArrayList<String>();
    		segmentor.segment(content, words);
    		List<String> postags = new ArrayList<String>();
    		int size = postagger.postag(words,postags);
    		boolean isAddress=false;
    		for (int i = 0; i < size; i++) {
    			if (postags.get(i).equals(ADDRESS_C)||postags.get(i).equals(ADDRESS_L)){
    				isAddress=true;
    				break;
    			}
    		}
    		return isAddress;
    	}
    
    	/**
    	 * 判断一句话中是否存在企业团体,先使用segmentor将内容分词,使用postagger判断是否为企业团体
    	 * @param postagger
    	 * @param segmentor
    	 * @param content 内容
    	 * @return
    	 */
    	public static Boolean isCorporateGroups(Postagger postagger, Segmentor segmentor,NER ner,String content){
    		Boolean isGroups=false;
    		List<String> words = new ArrayList<String>();
    		List<String> tags = new ArrayList<String>();
    		List<String> ners = new ArrayList<String>();
    		segmentor.segment(content, words);
    		List<String> postags = new ArrayList<String>();
    		int size = postagger.postag(words,postags);
    		for (int i = 0; i < size; i++) {
    			tags.add(postags.get(i));
    		}
    		ner.recognize(words, tags, ners);
    		for (int i = 0; i < words.size(); i++) {
    			System.out.println(words.get(i)+"/"+ners.get(i));
    		}
    		if (ners.contains("E-Ni")){
    			isGroups=true;
    			return isGroups;
    		}
    		return isGroups;
    	}
    
    	/**
    	 * 判断一句话中是否存在公检法,先使用segmentor将内容分词,使用postagger判断是否为公检法
    	 * @param postagger
    	 * @param segmentor
    	 * @param content 内容
    	 * @return
    	 */
    	public static Boolean isAbbreviation(Postagger postagger, Segmentor segmentor,String content){
    //		List<String> words = new ArrayList<String>();
    //		segmentor.segment(content, words);
    		List<String> list = new ArrayList<>();
    		list.add(content);
    		List<String> postags = new ArrayList<String>();
    		int size = postagger.postag(list,postags);
    		boolean isGovernment=false;
    		for (int i = 0; i < size; i++) {
    			if (postags.get(i).equals(GOVERNMENT)){
    				isGovernment=true;
    				break;
    			}
    		}
    		return isGovernment;
    	}
    
    	/**
    	 * 判断一句话中是否存在人名,先使用segmentor将内容分词,使用postagger判断是否为人名
    	 * @param postagger
    	 * @param segmentor
    	 * @param content 内容
    	 * @return
    	 */
    	public static Boolean isPersonName(Postagger postagger, Segmentor segmentor,String content){
    		List<String> words = new ArrayList<String>();
    		segmentor.segment(content, words);
    		List<String> postags = new ArrayList<String>();
    		int size = postagger.postag(words,postags);
    		boolean isPersonName=false;
    		for (int i = 0; i < size; i++) {
    			if (postags.get(i).equals(PERSONNAME_C)){
    				isPersonName=true;
    				break;
    			}
    		}
    		return isPersonName;
    	}
    
    	/**
    	 * 识别地名,返回地名所占比例
    	 * @param words 字段内容
    	 * @return
    	 */
    	public static double identificationAddress( Postagger postagger,Segmentor segmentor,List<String> words){
    		int n=0;
    		for (int i = 0; i < words.size(); i++) {
    			String s = words.get(i);
    			Boolean address = isAddress(postagger, segmentor, s);
    			if (address){
    				n+=1;
    			}
    		}
    		double proportion = new BigDecimal((float)n/words.size()).setScale(2, BigDecimal.ROUND_HALF_UP).doubleValue();
    		return proportion;
    	}
    	/**
    	 * 识别人名,返回人名所占比例
    	 * @param words 字段内容
    	 * @return
    	 */
    	public static double identificationPersonName( Postagger postagger,Segmentor segmentor,List<String> words){
    		int n=0;
    		for (int i = 0; i < words.size(); i++) {
    			String s = words.get(i);
    			Boolean address = isPersonName(postagger, segmentor, s);
    			if (address){
    				n+=1;
    			}
    		}
    		double proportion = new BigDecimal((float)n/words.size()).setScale(2, BigDecimal.ROUND_HALF_UP).doubleValue();
    		return proportion;
    	}
    
    	/**
    	 * 识别企业团体,返回企业团体所占比例
    	 * @param words 字段内容
    	 * @return
    	 */
    	public static double identificationGroups( Postagger postagger,Segmentor segmentor,NER ner,List<String> words){
    		int n=0;
    		for (int i = 0; i < words.size(); i++) {
    			String s = words.get(i);
    			Boolean groups = isCorporateGroups(postagger, segmentor, ner,s);
    			if (groups){
    				n+=1;
    			}
    		}
    		double proportion = new BigDecimal((float)n/words.size()).setScale(2, BigDecimal.ROUND_HALF_UP).doubleValue();
    		return proportion;
    	}
    	/**
    	 * 识别公检法,返回公检法所占比例
    	 * @param words 字段内容
    	 * @return
    	 */
    	public static double identificationGovernment( Postagger postagger,Segmentor segmentor,List<String> words){
    		int n=0;
    		for (int i = 0; i < words.size(); i++) {
    			String s = words.get(i);
    			Boolean groups = isAbbreviation(postagger, segmentor, s);
    			if (groups){
    				n+=1;
    			}
    		}
    		double proportion = new BigDecimal((float)n/words.size()).setScale(2, BigDecimal.ROUND_HALF_UP).doubleValue();
    		return proportion;
    	}
    
    	public static void main(String[] args) {
    		/*System.load("D:\\test\\ltp\\ltp4j-0.1.0-SNAPSHOT.dll");
    		Postagger postagger = new Postagger();
    		Segmentor segmentor = new Segmentor();
    		if (postagger.create("D:\\test\\ltp\\pos.model") < 0) {
    			log.error("pos.model加载失败");
    		}
    		if (segmentor.create("D:\\test\\ltp\\cws.model") < 0) {
    			log.error("load cws.model failed");
    		}
    		List<String> words = new ArrayList<String>();
    		words.add("上海澜海实业有限公司");
    		words.add("上海丰临进出口有限公司");
    		words.add("上海宝钢国际经济贸易有限公司");
    		words.add("上海诚齐机械制造有限公司");
    		double identificationName = Ltp4jUtil.identificationPersonName(postagger,segmentor,words);
    		double identificationAddress = Ltp4jUtil.identificationAddress(postagger,segmentor,words);
    		double identificationGroups = Ltp4jUtil.identificationGroups(postagger,segmentor,words);
    		double identificationGovernment = Ltp4jUtil.identificationGovernment(postagger,segmentor,words);
    		postagger.release();
    		segmentor.release();
    		System.out.println("地点:"+identificationAddress);
    		System.out.println("人名:"+identificationName);
    		System.out.println("企业:"+identificationGroups);
    		System.out.println("公检法:"+identificationGovernment);
    
    */
    		String content="上海丰临进出口有限公司";
    		LoadLibsUtil.addDirToPath("libs");
    		NER ner = new NER();
    		Postagger postagger = new Postagger();
    		Segmentor segmentor = new Segmentor();
    		if (ner.create("D:\\test\\ltp\\ner.model") < 0) {
    			log.error("pos.model加载失败");
    		}
    		if (postagger.create("D:\\test\\ltp\\pos.model") < 0) {
    			log.error("pos.model加载失败");
    		}
    		if (segmentor.create("D:\\test\\ltp\\cws.model") < 0) {
    			log.error("load cws.model failed");
    		}
    
    		Boolean s=isCorporateGroups(postagger,segmentor,ner,content);
    		System.out.println(s);
    
    
    		postagger.release();
    		segmentor.release();
    		ner.release();
    
    	}
    
    }
    
    
    package com.dbapp.database.scanning.util;
    
    import java.lang.reflect.Field;
    
    /**
     * @ClassName: LoadLibsUtil
     * @Author: yongtao.ding on 2020/5/26 9:09
     */
    public class LoadLibsUtil {
    
    	public static void addDirToPath(String s){
    		try {
    			//获取系统path变量对象
    			Field field=ClassLoader.class.getDeclaredField("sys_paths");
    			//设置此变量对象可访问
    			field.setAccessible(true);
    			//获取此变量对象的值
    			String[] path=(String[])field.get(null);
    			//创建字符串数组,在原来的数组长度上增加一个,用于存放增加的目录
    			String[] tem=new String[path.length+1];
    			//将原来的path变量复制到tem中
    			System.arraycopy(path,0,tem,0,path.length);
    			//将增加的目录存入新的变量数组中
    			tem[path.length]=s;
    			//将增加目录后的数组赋给path变量对象
    			field.set(null,tem);
    		} catch (Exception e) {
    			e.printStackTrace();
    		}
    	}
    }
    
    

    关于加载dll:
    代码中

    LoadLibsUtil.addDirToPath("libs");
    

    在这里插入图片描述
    有问题评论,能不能看到随缘~~~~

    展开全文
  • 哈工大LTP,在Eclipse上编译所需要用到的动态链接库,(.lib和.dll、.exp)64位系统可用
  • 一:Docker安装 官方文档:http://ltp.ai/docs/install.html 一:从GitHub-ltp:https://github.com/HIT-SCIR/ltp项目中获取Dockerfile文件 二:docker build -t ltp/ltp . # 由于网络原因可能中途失败。多执行几...
  • 导入 from pyltp import SentenceSplitter,Segmentor, Postagger, Parser,NamedEntityRecognizer, SementicRoleLabeller SentenceSplitter——————————分句 Segmentor ————————————分词(cws....
  • 如果是Ubuntu系统,请把m修改为mu即可,通过pip 安装,Linux不需要编译 pyltp-0.2.1-cp35-cp35m-linux_x86_64.whl
  • 哈工大LTP的依存分析

    千次阅读 2021-03-21 11:13:35
    安装 1. pip install ltp 2. 允许代码后报错 Microsoft Visual C++ Redistributable is not installed, this may lead to the DLL load failure. It can be downloaded at ...
  • 3. 哈工大LTP解析

    2018-12-04 17:09:00
    3. 哈工大LTP解析 1. 前言 哈工大语言技术平台Language Technology Platform(LTP)是哈工大社会计算与信息检索研究中心历时十年开发的一整套中文语言处理系统。LTP制定了基于XML的语言处理结果表示,并在此基础上...
  • 哈工大ltp工具Java接口动态链接库(32位)经过2天的调试,终于成功了,注意:要下载ltp-data模型文件,亲测可用。
  • 哈工大LTP官网模型下载:https://ltp.ai/download.html 安装方法: pip install ltp 案例代码 from ltp import LTP ltp = LTP() # 默认加载 Small 模型,下载的路径是:~/.cache/torch/ltp sentences = "文本,是...
  • 1.参考此文章 ...使用 pyltp-0.2.1-cp37-cp37m-win_amd64.whl ...打开cmd,到Python安装目录下下载 2.pip list测试可以看到 pyltp已经安装好 3.进入pycharm 一开始会发现引入库失败,这是因为平时我
  • 哈工大LTP初步学习

    千次阅读 2017-07-26 11:13:13
    依存句法分析与语义依存分析的区别http://www.cnblogs.com/CheeseZH/p/5768389.html句法分析树的生成http://blog.csdn.net/jiangjingxuan/article/details/54729440哈工大LTP的本地安装和python调用http:
  • from ltp import LTP ltp=LTP() seg,hidden=ltp.seg('他叫汤姆去拿外衣。'] dep=ltp.dep(hidden) print(dep) 输出: [['他', '叫', '汤姆', '去', '拿', '外衣', '。']] [ [ (1, 2, 'SBV'), (2, 0, 'HED'), # 叫 --|...
  • 目录一、LTP介绍二、安装1. 安装pynlp2. 下载模型文件三、python下的功能实现1.代码参考2.结果说明 一、LTP介绍 语言技术平台(LTP) 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、 ...
  • 哈工大ltp的使用

    千次阅读 2018-12-06 11:27:35
    使用python版本的ltp pip install pyltp 下载对应版本模型 可以在这里下载 https://pan.baidu.com/share/link?shareid=1988562907&amp;amp;uk=2738088569#list/path=%2F 注意对应版本下载 基本用法 # -...
  • 如下图所对句子“哈尔滨工业大学是一所非常优秀的理工类985高校”分析的结果: ...具体可直接参考哈工大LTP官网,也许会对你有更多启发: 语言技术平台( Language Technology Plantform | LTP ) ...
  • 通过哈工大LTP离线模拟的动态库和静态库,系统为64位操作系统。看官可以利用该资源直接用。
  • 哈工大LTP java在Eclipse上编译所需要用到的动态链接库,(.lib和.dll、.exp)64位系统可用
  • 哈工大LTP平台http://ltp.ai/demo.html 总体步骤 step1 安装pyltp 第0部分写到的博客 step2 下载模型 http://ltp.ai/download.html step3 使用example.py测试 0.安装成功的参考 参考文章:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,423
精华内容 569
关键字:

哈工大ltp安装