精华内容
下载资源
问答
  • 最近学 Elasticsearch,既然学之,怎么能没有实际的集群来把玩呢,因此自己必须动手搭一个! 注: 本文首发于 My Personal Blog:CodeSheep·程序羊,欢迎光临 小站 环境准备 节点准备 本文准备搭建节点 ...
        

    Profile

    本文内容脑图如下:

    本文内容脑图

    文章共 747字,阅读大约需要 2分钟 !

    概 述

    最近学 Elasticsearch,既然学之,怎么能没有实际的集群来把玩呢,因此自己必须动手搭一个!

    注: 本文首发于 My Personal Blog:CodeSheep·程序羊,欢迎光临 小站

    环境准备

    • 节点准备

    本文准备搭建 双节点 Elasticsearch集群,因此这里准备了两台 Linux CentOS 7.4 64bit 机器:

    • 节点1:192.168.31.8
    • 节点2:192.168.31.9
    • Elasticsearch 安装包准备

    这里下载的是截止到当前日期的最新版:6.4.2

    wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz
    • 安装目录准备

    这里拟将 Elasticsearch安装在 /opt/elasticsearch 目录下:

    mkdir /opt/elasticsearch
    将压缩包复制到该目录下并解压

    Elasticsearch 集群配置

    需要修改两个节点上的配置文件 elasticsearch.yml

    • 节点1 配置
    cluster.name: codesheep         # 集群名称
    node.name: sheep1                 # 节点名
    network.host: 192.168.31.8     # 绑定的节点1地址
    network.bind_host: 0.0.0.0      # 此项不设置你试试本机可能访问不了啊
    discovery.zen.ping.unicast.hosts: ["192.168.31.8","192.168.31.9"]  # hosts列表
    discovery.zen.minimum_master_nodes: 1 
    
    ## 如下配置是为了解决 Elasticsearch可视化工具 dejavu的跨域问题!若不用可视化工具则可省略之
    http.port: 9200
    http.cors.allow-origin: "http://192.168.199.76:1358"
    http.cors.enabled: true
    http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type,Content-Length,Authorization
    http.cors.allow-credentials: true
    • 节点2 配置
    cluster.name: codesheep         # 集群名称
    node.name: sheep1                 # 节点名
    network.host: 192.168.31.9     # 绑定的节点2地址
    network.bind_host: 0.0.0.0     
    discovery.zen.ping.unicast.hosts: ["192.168.31.8","192.168.31.9"]  # hosts列表
    discovery.zen.minimum_master_nodes: 1 
    
    ## 如下配置是为了解决 Elasticsearch可视化工具 dejavu的跨域问题!若不用可视化工具则可省略之
    http.port: 9200
    http.cors.allow-origin: "http://192.168.199.76:1358"
    http.cors.enabled: true
    http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type,Content-Length,Authorization
    http.cors.allow-credentials: true

    集群启动前准备

    • 创建用户及用户组

    由于 Elasticsearch不能以 root用户启动,因此需要添加非 root用户:

    groupadd es
    useradd es -g es
    chown -R es:es ./elasticsearch-6.4.2
    • 关闭防火墙
    systemctl stop firewalld
    systemctl disable firewalld

    启动 Elasticsearch集群

    • 切换用户
    su es
    • 分别在 节点1和 节点2上启动ES服务
    cd bin
    ./elasticsearch  // 若要后台启动,则加-d参数
    • 浏览器访问:http://ip:9200/ 查看启动效果

    启动后浏览器访问效果

    • 命令行查看集群信息

    image.png

    • 利用可视化工具 dejavu查看集群信息

    关于 Elasticsearch集群可视化管理工具的上手,可以参考我的前文:《一文上手 Elasticsearch常用可视化管理工具》

    可视化工具dejavu查看集群信息

    • 接下来插入两条数据
    curl -X PUT 'localhost:9200/accounts/person/1' -d '
    {
      "user": "张三",
      "title": "工程师",
      "desc": "数据库管理"
    }' 
    
    curl -X PUT 'localhost:9200/accounts/person/1' -d '
    {
      "user": "赵四",
      "title": "设计师",
      "desc": "UI设计"
    }' 
    • 查看数据的入库效果

    数据入库效果

    OK,索引 / 类型 / 文档 一目了然!

    若在 Elasticsearch集群 安装/启动 过程 中有任何奇葩 问题/错误 的话,就参考我的这篇文章:《CentOS7上ElasticSearch安装填坑记》吧,里面的坑我都一个个填过了!

    安装IK分词器

    在 Elasticsearch的世界中,插件是很重要的一部分,很多功能都可以通过插件来实现,因此下面就以常用的 IK分词器插件 的安装为例,来操作一下 Elasticsearch插件的安装

    分词技术是搜索技术的基石,而 IK分词器是比较经典的一个,接下来尝试安装一下吧

    IK分词器版本与 ES版本对应,不能搞错,可在 这里查看

    • 下载 IK分词器插件
    wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.2/elasticsearch-analysis-ik-6.4.2.zip
    • 解压 / 安装

    新建目录 /opt/elasticsearch/elasticsearch-6.4.2/plugins/elasticsearch-analysis-ik-6.4.2

    再将 zip包置于上述目录下并解压:

    unzip elasticsearch-analysis-ik-6.4.2.zip

    • 重启 Elasticsearch集群

    重启 Elasticsearch集群,若发现如下内容,这说明插件安装成功:

    检查IK分词器插件安装是否成功

    怎么样,很简单吧,就是一个解压放置的过程嘛!


    后 记

    由于能力有限,若有错误或者不当之处,还请大家批评指正,一起学习交流!


    展开全文
  • 其实节点的质量主要看线路,查一查IP地址,首先看是不是CN2 GIA(可以说的公网质量.网速也比较慢,而手机端的SSR很正常。请问如何解决电脑端的问题,谢谢!.你好!电脑连路由器,玩游戏延迟,出现这种情况,一般是...

    由于本人比较业余,希望懂行的用形象点的比喻解释效果会更好。 1.网上那么。

    1、高峰期测速,国内公网是非常拥堵的,在高峰期的表现最能体现节点的质量。其实节点的质量主要看线路,查一查IP地址,首先看是不是CN2 GIA(可以说的公网质量.

    网速也比较慢,而手机端的SSR很正常。请问如何解决电脑端的问题,谢谢!.

    你好!电脑连路由器,玩游戏延迟,出现这种情况,一般是路由器设置问题,解决方法:1、路由器里手动填写DNS,大约在WAN口设置和DHCP设置里都要写。2、电脑.

    我用SSR可以跑满带宽

    根据您的描述,建议您尝试以下操作:1、建议您定期清除上网的历史记录和缓存,并将手机重启一下刷新下网络再使用。另外您也可以换个浏览器登录网页2、进入设置--.

    网速慢的话,跟周边环境也就是信号强弱有关系的。另外可以查看手机设置,看看网络是否设置为4g。信号不好时,网络会自动转为2g\3g。这时候速度就会有不同了。

    卡王网速慢怎么解决? 信号满格,速度1-20k 之间,不知道怎么回事,知道的。

    1、用360驱动大师重新安装一下无线网卡驱动,重新安装后应当可以正常。2、如果蹭的网本来就只有1兆的速度,想更快就只有去蹭更快的网络。3、如果卡王达不到被蹭.

    按下面的方法可以提升电脑运行速度和上网速度: 第一:关闭多余程序 第二:清除剪贴板中的内容。 1.点开始------运行,输入“CLipbrd”,可以调出剪贴板查看器,在“.

    XP/WIN7系统都会默认限制20%的网速,我们可以很轻松地解除这个限制,使上网速度达到100%,真正地体验冲浪的感觉.方法如下:开始菜单-运行-输入"gpedit.msc” .

    vivo手机网速慢可能有几个原因 一是当前网络状况差;二是手机网络设置不合适;三是dns解析出了问题。一般来说,解决vivo手机网速慢的问题有以下几个解决办法:第.

    电脑配制不行或带宽不够 再者就是中了病毒(装360)

    建议手机双清恢复出厂设置或者检查当前信号,还有wifi的网速,有多少人在同时上网 解决vivo手机网速慢的问题主要以下几个办法:1、调节网络状况,如切换为数据流量.

    网速慢,有设备问题、信号问题,还有可能是王卡进行了后台限速,测试一下。

    从7月6号开始,我的网速越来越慢,一开始玩游戏延迟是40多点,现在就涨到。

    网速慢的几种原因: 一、网络自身问题 二、网线问题导致网速变慢 三、网络中存在回路导致网速变慢 四、网络设备硬件故障引起的广播风暴而导致网速变慢 五、网络中某.

    就算是4g的慢

    可能是手机信号不好或者同一时间段用网的人比较多随着腾讯大网卡用户量的增加,. 解决方法第四种:提高手机上网速度拨打10010转人工台,告诉对方,手机连接速度.

    多人用就会把带宽一点一点的分,所以就会越来越慢

    原因有很多,有可能是路由器的原因,也有可能是其他原因,总的来说,网速慢的常见原因有以下几种:1.wifi被人蹭网,别人占用了带宽或者给你限速了,可以登录路由.

    设置路由是不能增加网速的,只能说设置不正确会影响网速。1、宽带网络的总线连接路由器的WAN口,路由器的LAN口连接电脑。2、启动设备后,打开浏览器,在地址.

    r17很卡,很慢,网速太慢,以下是减少OPPO手机卡顿的方法:我们安装的应用越多,使用的时间越久,产生的应用缓存也会越来越多,而手机内存是有限的,这些缓存.

    杀了后,网速还是那么慢,甚至达不到以前最慢速度.

    方法1: 如果是宽带上网,那么在注册表中设定适当的TcpWindow值,就可以加快上网速度。 打开注册表编辑器(开始-运行-输入REGEDIT), 在其中 找到“HKEY_.

    以前上网的时候的信号都是非常好的,不知道最近网速那么慢,而且信号显示。

    内存越大,机器越快?我想大多数人的回答都是肯定的,从256M到512M的提示是明. 打开网页就是一瞬间,以前即便是在网速很好的半夜,也没有这么快的,看来很多时.

    展开全文
  • 默认一共分配16384个哈希槽,那么key是怎么分配到哈希槽的呢,是通过CRC16的算法进行取模来分配对应的哈希槽,具体的算法就是:CRC16(key)% 16384,获取到的值分配到哈希槽对应的节点上。 一、下面开始说下创建...

    redis从3.0版本开始正式支持集群功能,新的集群功能并没有使用之前的一致性哈希原理来分配数据,而是采用哈希槽的方式来分配,默认一共分配16384个哈希槽,那么key是怎么分配到哈希槽的呢,是通过CRC16的算法进行取模来分配对应的哈希槽,具体的算法就是:CRC16(key)% 16384,获取到的值分配到哈希槽对应的节点上。

    一、下面开始说下创建集群的过程以及遇到的问题:

    1.到http://download.redis.io/releases/下载3.0以后的版本解压,我下载的是3.2.0版本

    tar -zxvf redis-3.2.0.tar.gz
    2.解压后,进入解压出的目录,进行redis_server等的安装

    cd redis-3.2.0
    make PREFIX=/opt/work/redis
    make PREFIX=/opt/work/redis install
    3.安装完成后进入:/opt/work/redis/,会发现有一个bin的目录,然后把redis-3.2.0/src目录下的redis-trib.rb文件拷贝到/opt/work/redis/bin,bin目录下有如下的文件就OK了:



    4.在/opt/work/redis/目录下创建7000-7005的六个文件夹:

    mkdir 7000 7001 7002 7003 7004 7005
    5.进入每一个文件夹,创建redis.conf文件,将如下内容拷贝到文件中,端口号要去目录对应:

    port 7000
    cluster-enabled yes
    cluster-config-file nodes.conf
    cluster-node-timeout 5000
    appendonly yes
    6.开始启动redis服务,分别到7000-7005目录下面,执行下面命令,注意:一定要到此目录下执行,否则启动服务会报错

    ../bin/redis-server ./redis.conf
    7.出现如下信息就是启动成功了:



    8.6个redis服务都启动成功后,可以创建redis集群了,进入bin目录下,执行如下命令:

    ./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
    9.报:/usr/bin/env: ruby: No such file or directory这个错误的时候,说明没有安装ruby环境,先安装下ruby环境:

    yum -y install zlib ruby rubygems
    gem install redis
    10.OK了,再执行第8步骤的命令,兴奋的时刻来了,输入yes集群创建成功了:




    二、下面开始测试下集群:

    1.通过如下命令检查下集群状态:

    ../bin/redis-trib.rb check 127.0.0.1:7000


    如上图所示,可以看到有三个主节点,三个从节点。

    2.redis集群的特点是去中心化的,连接那一个节点都可以设置数据和获取数据。使用redis-cli这个客户端工具连接上集群,注意需要使用-c参数:

    redis-cli -c -p 7000

    设置一个值:

    127.0.0.1:7000> set my_name dajun
    -> Redirected to slot [12803] located at 127.0.0.1:7002
    OK
    127.0.0.1:7000> get my_name
    "dajun"


    三、测试集群节点挂掉情况

    首先咱们来模拟主节点挂掉的情况,那咱们就让7000这个节点挂掉,先给他kill掉;按照前面所说的,7000主节点有一个7003的从节点,那么最终7003应该会被选举为master,咱们来看下:

    ../bin/redis-trib.rb check 127.0.0.1:7000
    [ERR] Sorry, can't connect to node 127.0.0.1:7000
    ../bin/redis-trib.rb check 127.0.0.1:7001
    >>> Performing Cluster Check (using node 127.0.0.1:7001)
    M: 1ec28165045843602ad5cd22711fe654798c29af 127.0.0.1:7001
       slots:5461-10922 (5462 slots) master
       1 additional replica(s)
    M: 2ed7f35880c2c28fa287b7c0d30e5f6d53f3b9ff 127.0.0.1:7002
       slots:10923-16383 (5461 slots) master
       1 additional replica(s)
    M: baf55935a7ee1dfd07a484813d78b3520636066b 127.0.0.1:7003
       slots:0-5460 (5461 slots) master
       0 additional replica(s)
    S: 84dc74abfc03e8a391fc5b4ff292537d74d23845 127.0.0.1:7005
       slots: (0 slots) slave
       replicates 2ed7f35880c2c28fa287b7c0d30e5f6d53f3b9ff
    S: bc9fec358a5ae5201193b551698ca1732dbd83e5 127.0.0.1:7004
       slots: (0 slots) slave
       replicates 1ec28165045843602ad5cd22711fe654798c29af
    [OK] All nodes agree about slots configuration.
    >>> Check for open slots...
    >>> Check slots coverage...
    [OK] All 16384 slots covered.
    如上所示,通过7000检测状态已经不行了,通过7001检测发现还是三个master,slave变成了两个,7000对应的slave变成了master了,符合期望,而且之前存储在7000上的数据同样也还能查到。

    咱们重新把7000这个节点起来,看看会出现什么结果:

    >>> Performing Cluster Check (using node 127.0.0.1:7001)
    M: 1ec28165045843602ad5cd22711fe654798c29af 127.0.0.1:7001
       slots:5461-10922 (5462 slots) master
       1 additional replica(s)
    M: 2ed7f35880c2c28fa287b7c0d30e5f6d53f3b9ff 127.0.0.1:7002
       slots:10923-16383 (5461 slots) master
       1 additional replica(s)
    M: baf55935a7ee1dfd07a484813d78b3520636066b 127.0.0.1:7003
       slots:0-5460 (5461 slots) master
       1 additional replica(s)
    S: e658473a7023f46816cf607754231a9396852f33 127.0.0.1:7000
       slots: (0 slots) slave
       replicates baf55935a7ee1dfd07a484813d78b3520636066b
    S: 84dc74abfc03e8a391fc5b4ff292537d74d23845 127.0.0.1:7005
       slots: (0 slots) slave
       replicates 2ed7f35880c2c28fa287b7c0d30e5f6d53f3b9ff
    S: bc9fec358a5ae5201193b551698ca1732dbd83e5 127.0.0.1:7004
       slots: (0 slots) slave
       replicates 1ec28165045843602ad5cd22711fe654798c29af
    [OK] All nodes agree about slots configuration.
    >>> Check for open slots...
    >>> Check slots coverage...
    [OK] All 16384 slots covered.

    可以看到7000节点变成了7003的slave了。

    四、集群添加节点,移除节点

    集群添加节点的时候,如果是master的话,添加完成的时候槽数为0,需要执行reshard命令进行分配槽位数,如果是slave的话就不用管了;同理移除节点的时候,需要首先将所移除节点中的数据移动到其他的节点上,然后才能删除。

    OK,就写这些了,有问题的欢迎拍砖奥。。









    展开全文
  • 目前不管是个人还是企业,只要是需要在网上开展业务的话,都需要有自己的网站或者应用程序。VPS因为性能较低使用不太方便,渐渐被淘汰出市场。那么在各类服务器的选项下,怎么选择适合的配置呢? 一、服务器区域 ...

    新手怎么去挑选服务器的配置呢?目前不管是个人还是企业,只要是需要在网上开展业务的话,都需要有自己的网站或者应用程序。VPS因为性能较低使用不太方便,渐渐被淘汰出市场。那么在各类服务器的选项下,怎么选择适合的配置呢?
    在这里插入图片描述

    一、服务器区域
    影响一个网站访问速度快慢的因素就是节点或者服务器所在位置离访问者的距离的远近。在选择服务器地区的时候,应提前做好用户全体分布区域统计,尽量选择离用户比较近的地方的服务器。
    用户如果主要是面向南方的客户,一般选择华东和华南的服务器会好些。如果客户在北方,选择华北区域的服务器会好些。当然如果您的客户是国外的用户,也可以根据用户集中于哪个国家去挑选哪个国家的服务器。如果您的客户是全国各地都有的话,可以居中选择服务器后,在添加CDN节点的形式去保证各个区域的用户能正常稳定的访问。
    二、服务器配置
    大部分的服务器配置需要着重考虑的就是配置里带宽的选择,带宽的选择几乎会直接关系到业务是否能够稳定运行。假如您是做网站业务的通常选择一个1~2M的带宽就够了。加入网站在某些特殊时段访问量会比较高,那么就最好选择弹性带宽模式或者大一点的带宽配置。当然如果您是做游戏行业的,对带宽的需求也是比较大的,通常带宽的大小要根据玩家的数量来定,游戏在发展期间肯定会不断的会有人加入进来。那么对于带宽上的选择可以从小到大,一点点的升级。

    展开全文
  • 本文准备从0开始,一步步搭建一套属于自己的多节点Linux系统环境,这将是后续学Linux、用Linux、Linux环境编程、应用和项目部署、工具实验等一系列学习和实践的基石,希望对小伙伴们有帮助。 提前备好Linux编程实验...
  • kafka集群搭建

    2020-11-01 15:57:46
    2、使用自己的zookeeper搭建集群,搭建方法:zookeeper集群搭建。 kafka集群搭建 注:1、zookeeper的版本:zookeeper-3.5.8; 2、三个节点ip和port:192.168.205.128:2181,192.168.205.128:2182,192.168.205....
  • 2、发布的topic 类型怎么确定的。 这里发布的topci 是/cmd_vel 话题,这个topic的消息类型是/geometry/Twist ,消息类型是/geometry/Twist在哪里定义的还不确定(暂时确定是ros内部定义的) python中创建并发布twist
  • ELK Stack 诞生背景一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多...
  • 今天说说怎么在linux系统搭建redis集群,redis在3.0版本后支持集群,在所有的集群方式里,最为推荐的...数据存放在 端口号/data 文件夹中,由于是自己搭建,服务器不够用,因此搭建在一台服务器上,以端口作区分. 在搭建之...
  • 在oracle 11g 中,更推荐直接使用Clusterware 来管理其他的设备,因此,我们这个环境使用Oracle Clusterware + 单实例来进行演练。... 环境使用VBOX 虚拟机,使用其他虚拟机的同学,自己研究怎么操作了。
  • 前言 在搭建CM之前。。本人也是纯人工的把hadoop生态圈常用组件自己集成了一遍。。途中遇到各种坑,比如版本不匹配...但是到了企业中是不可能这样滴,因为有诸多的劣势,试问如果一个集群有1000个节点,你怎么去人工...
  • 本文准备从0开始,一步步搭建一套属于自己的多节点Linux系统环境,这将是后续学Linux、用Linux、Linux环境编程、应用和项目部署、工具实验等一系列学习和实践的基石,希望对小伙伴们有帮助。 提前备好Linux编程实验...
  • 经常在给客户说数据库的主从同步,到底脚本是怎么配置的,我们得自己试一下,以便在给客户进行方案制作时更有信心,甚至关键实施时刻也在动上手。今天我们在两台CentOS天翼云主机中的Mariadb数据库进行了成功的主从...
  • 01 手把手搭建MVVM框架 课程介绍、02 文件结构及基础类创建、03 入口类DamiaoMvvm的实现、04 模板编译、05 元素节点解析编译、06 v-model 数据绑定逻辑梳理、07 v-model 数据绑定实现、08 模板文本编译逻辑梳理、09...
  • sqoop对hdfs导入导出怎么...首先我这里搭建的是3节点集群 master slave1 slave2 我的sqoop mysql安装在master节点上,在mysql里自己创建了tv,study数据库 tv数据库对应的表是channellog_count(这个数据量比较大) ...
  • ps:自己搭建的测试环境很难达到这一级别。 问题 2: 问题 3:我看了很多文章关于 es 集群规划的文章,总感觉乱七八糟的,没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群,设置多少节点,每个...
  • 如何利用xmind制作自己的思维导图你好,建议你可以这样试试看:打开画图工具点击上方栏目【思维导图】在跳转专的页面点击【立即属体验】进入在线绘制界面;...基本框架搭建完后,我们需要做的就是将内容...
  • 在IBM Cloud中运行Fabric

    千次阅读 2020-01-20 09:34:32
    文章目录打包智能合约创建IBM Cloud services创建fabric网络创建org和相应的节点创建order org和相应节点创建和加入channel导入...创建完智能合约之后,可以在自己搭建的blockchain环境中运行,也可以在各大云平台上...
  • 在第二篇,我们讲了怎么去创建自己的Docker Image。 接下来,我们怎么用docker自带的swarm来搭建服务器集群。 swarm是docker自带的功能组件,应该是docker1.12开始支持的。在swarm模式,每个集群网络有多个manager...
  • 秋招面经总结

    2020-10-24 23:06:17
    3.自己怎么学习,遇到最大的困难,怎么解决 2.项目使用到的工具,服务器是怎末搭建的,遇到的困难,,,, 3.项目中RSA算法的实现,如果用私钥加密会怎样,,, 4.完全二叉树,满二叉树区别,怎么判断是一个完全...
  • ps:自己搭建的测试环境很难达到这一级别。问题 2:问题 3:我看了很多文章关于 es 集群规划的文章,总感觉乱七八糟的,没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群,设置多少节点,每个节点规划...
  • 简单的搭建工作空间就不说了,从节点的编写开始,详细讲一下怎么进行多线程节点的读取和GNSS及IMU数据的处理以及飞控中三阶互补算法的实现过程。 1.编写我们自己的msg文件,在src目录下构建msg文件,里面创建一个...
  • 之前对容器相关的也不怎么了解,突然需要在自己笔记本上搭建一个Kubernates环境,上官网上先了解下k8s,看了一下,发现可以用minikube搭建一个单节点集群。 官网的步骤已经说的很清楚了, 我也就没必要多费话了,...
  • 早就有想法手动搭建一下Hadoop平台了,敝人上一篇讲的无密码ssh登录就是为了实现这个目标的第一步,现在感觉部署hadoop还是挺容易的,怎么当初那么费劲呢,还是自己万事开头难啊,这里把过程记录一下以志纪念。...

空空如也

空空如也

1 2 3
收藏数 51
精华内容 20
关键字:

怎么自己搭建节点