精华内容
下载资源
问答
  • solr分词器

    2017-09-25 14:42:44
    classpath目录:/usr/local/solr/tomcat/webapps/solr/WEB-INF/classes [root@bogon IK Analyzer 2012FF_hf1]# cp IKAnalyzer.cfg.xml ext_stopword.dic mydict.dic /usr/local/solr/tomcat/webapps/solr/WEB-INF/...
  • k-analyzer-solr,solr分词器,包括在solr的core中的配置方法
  • Solr分词器

    2017-01-11 14:09:39
    Solr常用分词器: mmseg4j:https://github.com/chenlb/mmseg4j-solr ik-analyzer:https://code.google.com/archive/p/ik-analyzer/ Stanford NLP:http://nlp.stanford.edu/software/segmenter.shtml    ...
    展开全文
  • 自定义Solr分词器

    2017-04-02 23:11:27
    自定义的Solr 分词器,可以通过竖线"|"来分词,可以在博客http://blog.csdn.net/jiangchao858/article/details/68954044看到生成过程与使用步骤。
  • IKAnalyzer2012FF_u1 ik solr分词器 非常好用。。。。。。
  • mlcsseg, solr分词器大补贴, 包括IK ANSJ、过滤器,动态加载词库
  • solr分词器部署安装以及Java代码操作 分词器部署 1、将下载好的分词器jar包拷贝到/usr/soft/solr-7.6.0/server/solr-webapp/webapp/WEB-INF/lib目录下 2、复制新项目的配置文件 mkdir /usr/soft/solr-7.6.0/...

    solr分词器部署安装以及Java代码操作

    分词器部署

    1、将下载好的分词器jar包拷贝到/usr/soft/solr-7.6.0/server/solr-webapp/webapp/WEB-INF/lib目录下

    2、复制新项目的配置文件
    mkdir /usr/soft/solr-7.6.0/server/solr/ik
    cp /usr/soft/solr-7.6.0/server/solr/configsets/_default/conf/ /usr/soft/solr-7.6.0/server/solr/ik/

    3、 然后到server/solr/ik/conf目录中打开managed-schema文件,增加如下代码
    在这里插入图片描述
    4、重启solr
    bin/solr restart –force
    5、新增项目ik
    在这里插入图片描述
    6、IK分词器测试
    在这里插入图片描述

    展开全文
  • 关于solr7.4搭建与配置可以参考solr7.4 安装配置篇在这里我们探讨一下分词的配置目录1....市面上常见的分词工具有 IKAnalyzerMMSeg4j Paoding等,这几个分词器各有优劣,大家可以自行研究在这篇文章,...

    关于solr7.4搭建与配置可以参考 solr7.4 安装配置篇  在这里我们探讨一下分词的配置

    目录

    1.关于分词

    1.分词是指将一个中文词语拆成若干个词,提供搜索引擎进行查找,比如说:北京大学 是一个词那么进行拆分可以得到:北京与大学,甚至北京大学整个词也是一个语义

    2.市面上常见的分词工具有 IKAnalyzer MMSeg4j  Paoding等,这几个分词器各有优劣,大家可以自行研究

    在这篇文章,我先演示IKAnalyzer分词器 下载:IKAnalyzer

    2.拷贝相关Jar包与配置

    下载解压后 把这两个jar文件复制到solr-7.4.0\server\solr-webapp\webapp\WEB-INF\lib中

    7c3dff8799baa8f5bf5e110386902d0e.png

    然后在solr-7.4.0\server\solr-webapp\webapp\WEB-INF\目录下新建一个classes目录,把下面三个文件复制进去

    daa696098e5a8f65c760e1762c7a907b.png

    进入之前创建的core   在solr-7.4.0\server\solr\newCore\conf下打开managed-schema.xml 添加如下代码:

    在这里我们发现并没有schema.xml。这是因为Solr版本中(Solr5之前),在创建core的时候,Solr会自动创建好schema.xml,但是在之后的版本中,新加入了动态更新schema功能,这个默认的schema.xml确找不到了,在Solr5以后,这个schema文件已经不是默认生成好的了,它被取了一个名字managed-schema,并且没有后缀。乍一看,以为是打不开的文件,当然没有什么能难倒程序员的,用Sublime Text 3打开,发现了熟悉的文字,这不就是之前的schema.xml文件吗。

    99cd50cc836e4f05e9a7ce6e90e40e56.png

    d35a1fd68e60a874937d167f0726d437.png

    3.验证成功

    打开服务,打开你所创建的core

    4d86d7e61c215a747ea15ef3b77048ac.png

    选择Analysis  输入要搜索的中文 选择FieldType为text_ik  可以发现分词成功

    84a9e1567d6a0956b7084dc3c1b03f48.png

    注意filedType一定选择我们配置的分词类型text_ik

    ----------------------------------------------------------------分割线----------------------------------------------------

    有朋友私信说配置好了并没有ik

    这是因为本文中我用的 上一篇中的第一种方式创建的code,这种方式连接数据库不是特别好,应该使用第二种命令创建。

    但是命令创建后的conf目录是需要去 solr{home}\example\example-DIH\solr\db下的文件进行复制。 详情请参考下一篇。

    展开全文
  • 新手Solr8与ik_analyzer_solr分词器的完整采坑搭建(单机版) 服务安装并启动: 目前为止,最新版为solr 8.1,下载地址:http://lucene.apache.org/solr/downloads.html 解压上传至服务器目录:/opt/modul...

    新手Solr8与ik_analyzer_solr分词器的完整采坑搭建(单机版)

    服务安装并启动:

    1. 目前为止,最新版为solr 8.1,下载地址:http://lucene.apache.org/solr/downloads.html
    2. 解压上传至服务器目录:/opt/module/solr
    3. cd /opt/module/solr/bin
    4. 开启服务:./solr start  停止服务:./solr stop
    5. 访问页面:ip:8983/solr
    6. 页面上的dashboard可以查看相关配置:-Dsolr.solr.home=/opt/module/solr/server/solr  即为服务的家目录

    新建core

    1. Core Admin

    57ae6fea54265ee9579b0ba3e6bc3d2432c.jpg

    Name:名字随意

    InstanceDir 实例目录提前建好,比如:${Dsolr.solr.home }/collection

    DataDir 数据目录,比如:data,会自动新建一个目录:${Dsolr.solr.home }/collection/data

        2. Config 和schema 两个xml文件都必须放在instanceDir下面,可按如下操作:

        a. 切换到solr家目录下:此时有如下目录

    909df5107044914495d5994d06fe66ec2b6.jpg

        b. 将configsets 目录的下的conf 复制到collection中,cp configsets/sample_techproducts_configs/conf  conllection/

    现在可以在页面中新建一个core了。建好如下:

    79084273644e4070a76daa345b0f24d3844.jpg

     

    配置ik-analyzer-solr中文分词器

    1. 下载最新版本ik-analyzer-solr ,地址:https://github.com/magese/ik-analyzer-solr

    目前为止最新版本8.1.0,jar包和源码最好都下载。

    <!-- Maven仓库地址 -->
    
    <dependency>
    
        <groupId>com.github.magese</groupId>
    
        <artifactId>ik-analyzer</artifactId>
    
        <version>8.1.0</version>
    
    </dependency>

        2. 下载的jar包为:ik-analyzer-8.1.0.jar 拷贝到/opt/module/solr/server/solr-webapp/webapp/WEB-INF/lib中。注意:solr-webapp与${Dsolr.solr.home }为同级目录。

        3. 将源码src下的resource中的五个文件拷贝到/opt/module/solr/server/solr-webapp/webapp/WEB-INF/classes/中。注意:classes目录需要新建,原本没有。

     IKAnalyzer.cfg.xml
    ② ext.dic
    ③ stopword.dic
    ④ ik.conf
    ⑤ dynamicdic.txt

    4. 配置Solrmanaged-schema,添加ik分词器,特别注意,官方文档中给的示例如下,

    e50f5390ed7cb539b1342d534e5156c5af1.jpg

    特别踩坑,在将ik-analyzer-8.1.0和solr-8.1.1整合时,会报初始化错误以及参数错误:

    3366a96949d06e58fe822b251ced9966a74.jpg

     

    正确示例如下;

    <!-- ik分词器 -->
    
    <fieldType name="text_ik" class="solr.TextField">
    
      <analyzer type="index">
    
          <tokenizer class="solr.StandardTokenizerFactory" />
    
          <filter class="solr.LowerCaseFilterFactory"/>
    
      </analyzer>
    
      <analyzer type="query">
    
          <tokenizer class="solr.StandardTokenizerFactory" />
    
          <filter class="solr.LowerCaseFilterFactory"/>
    
      </analyzer>
    
    </fieldType>

    5. 最后,如果你配置自己的

    <field name="item_price"  type="plong" indexed="true" stored="true"/>

    其中,item_price为long型,则type="plong",而不是type="long",一般在Java类型前加个p就可以对应了,否则报如下错误:

    75eb37cae732b07d7755a5cf945ee873717.jpg

    6. 最后,终于可以测试了:

    6a3dedaf6ff00bf5f480f2aa9dec0a3051d.jpg

     

    转载于:https://my.oschina.net/woniuyi/blog/3072599

    展开全文
  • 关于solr7.4搭建与配置可以参考solr7.4 安装配置篇在这里我们探讨一下分词的配置 目录  关于分词  配置分词  验证成功 1.关于分词  1.分词是指将一个中文词语拆成若干个词,提供搜索引擎进行查找,比如说...
  • solr分词器安装

    2015-02-05 14:59:43
    1.下载IK Analyzer 2012FF_hf1.zip 2.将 IKAnalyzer2012FF_u1.jar拷贝到目录"...3.将IKAnalyzer.cfg.xml、stopword.dic拷贝到目录$TOMCAT_HOME \webapps\solr\WEB-INF\classes目录下,没有则新建cl...
  • Solr分词器的安装使用

    2017-02-17 17:04:57
    Solr 集成ikanalyzer中文分词器 1、在谷歌http://code.google.com/p/ik-analyzer/downloads/list下载IK Analyzer 2012FF_hf1解压后得到如下目录结构:   2、将IKAnalyzer2012FF_u1.jar包copy到 apache-tomcat-...
  • 博文中的内容来源《Solr教程》这本书,感激不尽。
  • Solr分词器配置与功能介绍

    千次阅读 2016-01-28 09:08:11
    1、下载分词器:http://code.google.com/p/mmseg4j/ 2、将解压后的mmseg4j-1.8.2目录下的mmseg4j-all-1.8.2.jar拷贝到Tomcat _HOME\webapps\solr\WEB-INF\lib目录下。 3、添加词库:在C:\solr-
  • ES 或 Solr 分词器的相关面试题:

    千次阅读 2019-04-23 16:11:53
    1、ES 中的 IK 分词器能分中文和英语的原因是什么? ik分词器为中文分词器,默认可对中文分词;通过 Setting API构造analyzer(字符过滤),可以对IK中文分词器做一些修改,让它实现回溯词根,从而实现真正的英文...
  • 昨天晚上详细的说了说lucene的分析器,分词器,过滤器。今天我们来说说solr中的这三者吧。他是怎么基于lucene来写的。部分内容参见网上某文章 关于lucene的分析器,分词器,过滤器,请看:...
  • 0. 序言 经常遇到不少人询问如何在solr4.x中集成各种分词器,其实也算是咱曾经的工作之一:按照solr的接口把一些分词器对接起来。所幸之前一直都接触这方面的内容因而没走什么弯路,值此团队开博之时,正好把一些...
  • Solr 分词器(analyzer)是怎么传到Luence的  (2011-11-02 17:41:48) ...Solr分词器我们都知道,是配置在schema.xml配置文件中,不同的fieldType我们都可以给他配置分词器Solr有两个地方分...
  • analyzer分词器 solr改配置以后 重新建立一下索引 Dataimport 重启服务器 IK分词器简介
  • 集成IK分词器 solr安装参见博文—-Apache solr入门 下载分词器jar包,github地址 将ik-analyzer-solr7-7.x.jar包上传到 $SOLR_INSTALL_HOME/server/solr-webapp/webapp/WEB-INF/lib目录下 在$SOLR_INSTALL_HOME/...
  • Solr分词

    2014-01-13 14:19:00
    Solr分词 Solr版本:4.3.0。 分词器的配置在schema.xml文件,比如如下标签内容: <fieldType name="text_general" class="solr.TextField" positionIncrementGap="100"> <analyzer ...
  • Solr自定义分词器

    2017-07-20 11:06:33
    Solr自定义分词器
  • Solr中配置分词器为什么要用分词器:在solr中搜索酒店:使用条件查询:输入全名可以查到。使用条件查询:输入部分名字查不到对于关键词“北京首都大酒店”,用户输入“北京首都大酒店”,“北京大酒店”,“首都大...
  • 由 SolrRequestHandler 来进行对分词器,进行A)词库加载B)动态添加词库 等操作 这样的话,还需要在内存中hold 住所有的词,或者需要引用到分词的jar 2. 在自定义分词器中实现从文件拉取 对词库文件设置File...
  • solr 中文分词器IK分词器的配置

    千次阅读 2014-10-15 17:14:23
    Solr加入中文分词器  中文分词在solr里面是没有默认开启的,需要我们自己配置一个中文分词器。目前可用的分词器有smartcn,IK,Jeasy,庖丁。其实主要是两 种,一种是基于中科院ICTCLAS的隐式马尔科夫HMM算法的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,854
精华内容 741
关键字:

solr分词器