精华内容
下载资源
问答
  • solr中文分词器

    2018-12-12 17:00:08
    solr全文检索引擎默认对中文的支持不好,使用中文分词器后可以准确的按照中文词语进行分词,该资源是其中一种,测试环境:linux
  • solr 中文分词器

    2017-12-22 15:06:19
    环境是solr6  tomcat8  需要在 manager-schemer.xml 里面添加         然后重启一下就好啦 ...分词器下载的话连接如下: http://download.csdn.net/download/huahangwanghao/10169393

    环境是solr6  

    tomcat8 

    需要在 manager-schemer.xml 里面添加

    <fieldType name="text_ik" class="solr.TextField">  
            <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>  
        </fieldType>  
        <field name="text_ik"  type="text_ik" indexed="true"  stored="true"  multiValued="false" />


    然后重启一下就好啦


    分词器下载的话连接如下:

    http://download.csdn.net/download/huahangwanghao/10169393

    展开全文
  • 导入MySQL数据*然后:这次我用的是article这张表,所以在以前的配置上要改相应的配置文件(schema.xml、data-config.xml),将IKAnalyzer2012_FF_hf1.jar拷贝到/solr/WEB-INF/lib,注意:必须是IKAnalyzer2012_FF_hf1....

    导入MySQL数据

    *然后:这次我用的是article这张表,所以在以前的配置上要改相应的配置文件(schema.xml、data-config.xml),将IKAnalyzer2012_FF_hf1.jar拷贝到/solr/WEB-INF/lib,注意:必须是IKAnalyzer2012_FF_hf1.jar,别的jar包好像不怎么好使,我试了好几个jar包。

    schema.xml:

    其中"text_ikarticle"这个字段必须是你要中文分词的那个字段

    data-config.xml:

    driver="com.mysql.jdbc.Driver"

    url="jdbc:mysql://127.0.0.1:3306/zhangxp"

    user="root"

    password="123456"/>

    其中field这块是添加名称转化

    *其次:导入数据,导入数据如图:

    f7c94ba4bfd3

    dataimport.png

    使用分词查询,结果如下

    f7c94ba4bfd3

    分词查询.png

    基于WEB全文检索

    基于Web查询数据,关键词用红字标注

    SolrArticleController .java

    package com.xx.controller;

    import java.util.ArrayList;

    import java.util.Collection;

    import java.util.List;

    import java.util.Map;

    import javax.servlet.http.HttpServletRequest;

    import org.apache.commons.lang.StringUtils;

    import org.apache.solr.client.solrj.SolrQuery;

    import org.apache.solr.client.solrj.impl.HttpSolrServer;

    import org.apache.solr.client.solrj.response.QueryResponse;

    import org.apache.solr.common.SolrDocument;

    import org.apache.solr.common.SolrDocumentList;

    import org.slf4j.Logger;

    import org.slf4j.LoggerFactory;

    import org.springframework.stereotype.Controller;

    import org.springframework.ui.Model;

    import org.springframework.web.bind.annotation.RequestMapping;

    import org.springframework.web.servlet.ModelAndView;

    import com.xx.other.bean.Article;

    @Controller

    @RequestMapping("/solr")

    public class SolrArticleController {

    private static final String USER_URL = "http://localhost:8188/solr/article";

    private static final Logger LOG = LoggerFactory.getLogger(SolrArticleController.class);

    private static HttpSolrServer solrServer = new HttpSolrServer(USER_URL);

    @RequestMapping(value="/query")

    public String queryArticle(HttpServletRequest request,Model model) throws Exception{

    String reqparam=request.getParameter("param");

    reqparam=new String(reqparam.getBytes("iso-8859-1"), "utf-8");

    if(StringUtils.isEmpty(reqparam)){

    reqparam="*";

    }

    // new String(reqparam.getBytes(charset), charset)

    SolrQuery query = new SolrQuery();

    query.setHighlight(true);

    query.addHighlightField("text_ikarticle");

    query.setHighlightSimplePre("");

    query.setHighlightSimplePost("");

    query.setHighlightSnippets(1);

    query.setHighlightFragsize(100);

    query.set("q", "text_ikarticle:"+reqparam);

    QueryResponse response = solrServer.query(query);

    SolrDocumentList docList = response.getResults();

    Map>> highmap = response.getHighlighting();

    LOG.info("一共有 " + docList.getNumFound() + " 条记录");

    LOG.info("==================");

    List list=new ArrayList();

    Article article=null;

    for (SolrDocument doc : docList) {

    Collection cols = doc.getFieldNames();

    for (String field : cols) {

    LOG.info(field + ":" + doc.get(field));

    }

    LOG.info("==================");

    LOG.info(highmap.get(doc.get("id")).get("text_ikarticle").toString());

    article=new Article(doc.get("id").toString(),highmap.get(doc.get("id")).get("text_ikarticle").toString());

    list.add(article);

    }

    model.addAttribute("list", list);

    return "solrArticle";

    }

    }

    solrArticle.jsp

    pageEncoding="UTF-8"%>

    Insert title here
    • ${article.articleID}===>${article.content}

    检索成功,显示数据如图所示:

    f7c94ba4bfd3

    检索一半.png

    f7c94ba4bfd3

    检索你的话.png

    展开全文
  • solr搜索框架的中文分词器文件及配置详解供大家下载,亲测可用.解压出来的jar包放到apache-tomcat-9.0.20\webapps\solr\WEB-INF\lib下(Tomcat项目里solr项目)其他三个文件放到apache-tomcat-9.0.20\webapps\solr\...
  • solr中文分词器技术

    2018-08-14 15:45:56
    中文分词技术(中文分词原理)词是最小的能够独立活动的有意义的语言成分,英文单词之间是以空格作为自然分界符的,而汉语是以字为基本的书写单位,词语之间没有明显的区分标记,因此,中文词语分析是中文信息处理的...
  • 分词器支持solr7.x
  • 通过中文分词器搜索的结果是将输入搜索的中文进行分词,只要匹配其中一个分词就显示结果,例如搜索 淘淘手机 匹配的是 淘淘手机 淘淘 手机 如果要想 完全匹配 淘淘手机 则,搜索关键字要加上英文双引号 " 淘淘手机...

    通过中文分词器搜索的结果是将输入搜索的中文进行分词,只要匹配其中一个分词就显示结果,例如搜索 淘淘手机 匹配的是 淘淘手机  淘淘  手机

    如果要想 完全匹配  淘淘手机 则,搜索关键字要加上英文双引号 " 淘淘手机" 

    展开全文
  • lucene、solr中文分词器

    2017-10-02 09:52:14
    lucene默认自带的分词器对中文支持并不好,所以对于中文索引的分词器,建议使用第三方开源的中文分词器
  • Solr中文分词器配置及数据检索
    展开全文
  • Solr中文分词器配置-03

    2019-04-08 10:13:03
    分词 分词是指将一个中文词语拆成若干个词,提供搜索引擎进行查找,比如说:北京大学 是一个...这里我们使用IKAnalyzer分词器 首先解压文件 将ikanalyzer-solr5中的两个jar包复制到solr项目的lib中:Solr\apache-t...
  • 2、上传IKAnalyzer2012FF_u1.jar包到/myfile/programFiles/solr-tomcat/webapps/solr/WEB-INF/lib 3、 在WEB-INF目录下新建classes目录即/myfile/programFiles/solr-tomcat/webapps/solr/WEB-I...
  • solr中文分词器遇到的坑

    千次阅读 2018-08-19 14:18:22
    使用这三个文件就好用,自己定义的没起分词效果,另外自定义的.dic记得检查属性不要是txt文件格式的扩展名!
  • solr分词过程: Solr Admin中,选择Analysis,在FieldType中,选择text_en ...这不符合中国人的习惯。...solr6.3.0自带中文分词包,在 \solr-6.3.0\contrib\analysis-extras\lucene-libs\lucene-analyze...
  • Solr 中文分词器

    万次阅读 2012-12-26 15:09:45
    mmseg4j-solrsolr支持库文件; mmseg4j-analysis:分析库文件; 下载地址:http://mvnrepository.com/search?q=mmseg4j 参考地址:https://github.com/chenlb/mmseg4j-solr 参考地址:https://code.goo
  • solr本身对中文是不支持的,所以需要下载中文分词器IK-analyzer 下载地址https://code.google.com/archive/p/ik-analyzer/downloads。自己本地系统是centos6.7,所以下载了...
  • 第二步:需要把分析的jar包添加到solr工程中。 [root@bogonIKAnalyzer2012FF_hf1]#cpIKAnalyzer2012FF_u1.jar/usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/ 第三步:需要把IKAnalyzer需要的扩...
  • solr 中文分词器配置

    2015-12-02 16:40:43
    solr 版本4.10.4 ik-analyzer版本:IK Analyzer 2012FF。 IK Analyzer 2012FF 迁移到osc git 地址:http://git.oschina.net/wltea/IK-Analyzer-2012FF 下载后找到dist目录 把IKAnalyzer2012FF_u1.jar或者IK...
  • solr 中文分词器IK分词器的配置

    千次阅读 2014-10-15 17:14:23
    Solr加入中文分词器  中文分词在solr里面是没有默认开启的,需要我们自己配置一个中文分词器。目前可用的分词器有smartcn,IK,Jeasy,庖丁。其实主要是两 种,一种是基于中科院ICTCLAS的隐式马尔科夫HMM算法的...
  • 1 IKAnalyzer分词器配置。  1.1拷贝IKAnalyzer2012_u6\IKAnalyzer2012_u6.jar到C:\apache-tomcat-6.0.32\webapps\ solr\WEB-INF\lib文件夹下面  1.2 在C:\apache-tomcat-6.0.32\webapps\solr\WEB-INF文件夹下面...
  • 经常看到不少人问solr的IK分词如何配置,如何实现中文动态词库添加这类问题,中文分词看来还是solr使用的一个容易卡住的地方。其实solr自带中文分词smartcn,它是个ictclas智能分词的java版。如果想体验一下smartcn...
  • solr中文分词高版本

    2018-08-29 11:19:19
    由于网上提供的solr中文分词器大多不吃吃6.5以上,会报错(具体错误提示忘了),这里提供高版本,内含使用教程
  • solr默认是没有中文分词功能,需要我们自己安装配置插件,这里使用IK分词器 1.下载分词器 ikanalyzer 网上有很多个版本,我用的是 ik-analyzer-8.3.0.jar 2.修改配置文件 2.1 将ik-analyzer-8.3.0.jar放到/home...
  • 这里只是告诉你如何导入,生产环境不要这样.../path/to/my/DIHconfigfile.xml效果:在conf目录建立一个db-data-config.xml文件我的数据库复制jar找到这个:连同mysql驱动包一起复制到找到自带的中文分词器复制到web...
  • 中文分词器的配置1.7版本之后solr内置了中文分词器所以可以使用solr内置的分词器进行配置1.在解压的目录内找到分词器包2.将包放在solr项目的lib下3.修改配置文件修改他下面的conf目录下的managed-schema文件添加如下...
  • solr中文分词器.zip

    2020-05-06 22:10:12
    Solr是一个高性能,采用Java开发,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,120
精华内容 448
关键字:

solr中文分词器