精华内容
下载资源
问答
  • 主要介绍了Redis源码解析:集群手动故障转移、从节点迁移的相关内容,涉及通过集群定时器函数clusterCron实现从节点迁移等知识,具有一定参考价值,需要的朋友可以了解。
  • 与有线的固定环境相比,移动环境中的无线网络连接更加脆弱,移动主机可靠性更差,为提高移动计算系统的容错性能,研究并提出一个移动计算环境下支持移动节点迁移的故障检测算法。在基于互测比较和概率诊断的区内故障...
  • 官网关于 "活动节点迁移" 的介绍二. 获取 namenode 角色状态三. namenode active节点角色切换 一. 官网关于 “活动节点迁移” 的介绍 haadmin Usage: hdfs haadmin -checkHealth hdfs haadmin -failover [–...

    一. 官网关于 “活动节点迁移” 的介绍

    haadmin

    Usage:

    hdfs haadmin -checkHealth
    hdfs haadmin -failover [–forcefence] [–forceactive]
    hdfs haadmin -getServiceState
    hdfs haadmin -help
    hdfs haadmin -transitionToActive [–forceactive]
    hdfs haadmin -transitionToStandby

    COMMAND_OPTIONDescription
    -checkHealthcheck the health of the given NameNode
    -failoverinitiate a failover between two NameNodes
    -getServiceStatedetermine whether the given NameNode is Active or Standby
    -transitionToActivetransition the state of the given NameNode to Active (Warning: No fencing is done)
    -transitionToStandbytransition the state of the given NameNode to Standby (Warning: No fencing is done)

    二. 获取 namenode 角色状态

    [root@server254-20-22-11 cloudera]# hdfs haadmin -getServiceState ‘namenode81’
    active
    [root@server254-20-22-11 cloudera]# hdfs haadmin -getServiceState ‘namenode61’
    standby

    三. namenode active节点角色切换

    默认进行"活动节点迁移"时, 会因为可能产生脑裂场景或其他不正确的状态, 而导致操作被"拒绝"
    CDH6上默认执行"hdfs haadmin"的角色为yarn, 因为默认cdh6构建的hdfs用户是nologin用户(cat /etc/passwd | grep hdfs), 如下:
    hdfs:x:993:990:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin
    故首先,需将当前hadoop默认用户设置为hdfs用户,才能执行如下命令:

    [root@server254-20-22-11 cloudera]# export HADOOP_USER_NAME=hdfs
    [root@server254-20-22-11 cloudera]# hdfs haadmin -transitionToActive namenode61
    Automatic failover is enabled for NameNode at server254-20-22-12/254.20.22.12:8022
    Refusing to manually manage HA state, since it may cause
    a split-brain scenario or other incorrect state.
    If you are very sure you know what you are doing, please
    specify the --forcemanual flag.

    可以添加--forcemanual 来规避默认的拒绝策略.

    [root@server254-20-22-11 cloudera]# export HADOOP_USER_NAME=hdfs
    [root@server254-20-22-11 cloudera]# hdfs haadmin -ns nameservice1 -transitionToActive --forcemanual namenode61

    [root@server254-20-22-11 cloudera]# hdfs haadmin -ns nameservice1 -transitionToActive --forcemanual namenode61

    You have specified the --forcemanual flag. This flag is dangerous, as it can induce a split-brain scenario that WILL CORRUPT your HDFS namespace, possibly irrecoverably.
    
    It is recommended not to use this flag, but instead to shut down the cluster and disable automatic failover if you prefer to manually manage your HA state.
    
    You may abort safely by answering 'n' or hitting ^C now.
    
    Are you sure you want to continue? (Y or N) Y
    20/06/17 11:44:24 WARN ha.HAAdmin: Proceeding with manual HA state management even though
    automatic failover is enabled for NameNode at server254-20-22-12/254.20.22.12:8022
    transitionToActive: Node namenode81 is already active
    Usage: haadmin [-ns <nameserviceId>] [-transitionToActive [--forceactive] <serviceId>]
    

    说明:
    可以看到, 实际执行下来后, 节点并未切换到 namenode61 节点(即 server254-20-22-11).
    不知道社区版hadoop ha环境下执行这条语句是否可以达到目标, 有这样环境的小伙伴可以把试验结果分享一下.

    [root@server254-20-22-11 cloudera]# hdfs haadmin -ns nameservice1 -transitionToActive --forcemanual namenode81

    You have specified the --forcemanual flag. This flag is dangerous, as it can induce a split-brain scenario that WILL CORRUPT your HDFS namespace, possibly irrecoverably.
    
    It is recommended not to use this flag, but instead to shut down the cluster and disable automatic failover if you prefer to manually manage your HA state.
    
    You may abort safely by answering 'n' or hitting ^C now.
    
    Are you sure you want to continue? (Y or N) Y
    20/06/17 11:45:09 WARN ha.HAAdmin: Proceeding with manual HA state management even though
    automatic failover is enabled for NameNode at server254-20-22-11/254.20.22.11:8022
    20/06/17 11:45:09 WARN ha.HAAdmin: Proceeding with manual HA state management even though
    automatic failover is enabled for NameNode at server254-20-22-12/254.20.22.12:8022
    

    说明:
    实际的active节点即为 namenode81, 这条语句还是将active节点切换至 namenode81, 实际场景中, 这并没有意义.

    展开全文
  • k8s节点迁移

    2020-06-06 08:50:31
    删除node kubectl delete node hdss7-22.host.com 踢出集群(此步省略) docker配置 cat /etc/docker/daemon.json { "graph": "/data/docker", "storage-driver": "overlay2", ...docker pull harbor.od.com/public/pause:latest docker pull harbor.od.com/public/nginx:v1.7.9 docker pull harbor.od.com/public/dashboard:v1.8.3 docker pull harbor.od.com/public/traefik:v1.7.2 docker pull harbor.od.com/public/dashboard:v1.10.1 docker pull harbor.od.com/public/heapster:v1.5.4 docker pull harbor.od.com/public/coredns:v1.6.1 docker pull harbor.od.com/public/nginx:curl docker pull harbor.od.com/base/jre8:8u112 docker pull harbor.od.com/app/dubbo-demo-service:master_200605_1708 docker pull harbor.od.com/infra/dubbo-monitor:latest docker pull harbor.od.com/infra/jenkins:v2.190.3 nfs yum install nfs-utils -y kubernetes节点打标签...

    删除node

    kubectl delete node hdss7-22.host.com
    

    踢出集群(此步省略)

    docker配置

    cat /etc/docker/daemon.json

    {
      "graph": "/data/docker",
      "storage-driver": "overlay2",
      "insecure-registries": ["registry.access.redhat.com","quay.io","harbor.od.com"],
      "registry-mirrors": ["https://q2gr04ke.mirror.aliyuncs.com"],
      "bip": "172.7.22.1/24",
      "exec-opts": ["native.cgroupdriver=systemd"],
      "live-restore": true
    }
    

    etcd

    useradd -s /sbin/nologin -M etcd
    
    scp -rp /opt/etcd-v3.1.20 10.4.7.201:/opt/
    
    ln -s /opt/etcd-v3.1.20 /opt/etcd
    
    scp -rp /data/etcd 10.4.7.201:/data/
    
    scp -rp /data/logs 10.4.7.201:/data/
    
    chown -R etcd.etcd /opt/etcd-v3.1.20/
    chown -R etcd.etcd /data/etcd/ /data/logs/etcd-server/
    

    supervisor

    yum install supervisor -y
    systemctl start supervisord.service 
    systemctl enable supervisord.service
    
    
    scp -rp /etc/supervisord.d/* 10.4.7.201:/etc/supervisord.d/
    

    kubernetes

    scp -rp /opt/kubernetes-v1.15.4 10.4.7.201:/opt/
    
    ln -s /opt/kubernetes-v1.15.4 /opt/kubernetes
    ln -s /opt/kubernetes/server/bin/kubectl /usr/bin/kubectl
    
    scp -rp /data/kubelet 10.4.7.201:/data/
    

    ipvs

    scp /root/ipvs.sh 10.4.7.201:/root/
    yum install ipvsadm -y
    

    flannel

    scp -rp /opt/flannel-v0.11.0 10.4.7.201:/opt/
    
    ln -s /opt/flannel-v0.11.0 /opt/flannel
    

    iptables

    yum install iptables-services -y
    systemctl start iptables.service 
    systemctl enable iptables.service
    
    iptables-save |grep -i reject
    -A INPUT -j REJECT --reject-with icmp-host-prohibited
    -A FORWARD -j REJECT --reject-with icmp-host-prohibited
    
    iptables -t filter -D INPUT -j REJECT --reject-with icmp-host-prohibited
    iptables -t filter -D FORWARD -j REJECT --reject-with icmp-host-prohibited
    iptables-save > /etc/sysconfig/iptables
    
    iptables-save |grep -i postrouting
    
    iptables -t nat -D POSTROUTING -s 172.7.22.0/24 ! -o docker0 -j MASQUERADE
    iptables -t nat -I POSTROUTING -s 172.7.22.0/24 ! -d 172.7.0.0/16  ! -o docker0 -j MASQUERADE
    
    
    iptables-save |grep -i postrouting
    
    iptables-save > /etc/sysconfig/iptables
    

    docker镜像

    docker pull harbor.od.com/public/pause:latest
    docker pull harbor.od.com/public/nginx:v1.7.9
    docker pull harbor.od.com/public/dashboard:v1.8.3
    docker pull harbor.od.com/public/traefik:v1.7.2
    docker pull harbor.od.com/public/dashboard:v1.10.1
    docker pull harbor.od.com/public/heapster:v1.5.4
    docker pull harbor.od.com/public/coredns:v1.6.1
    docker pull harbor.od.com/public/nginx:curl
    docker pull harbor.od.com/base/jre8:8u112
    docker pull harbor.od.com/app/dubbo-demo-service:master_200605_1708
    docker pull harbor.od.com/infra/dubbo-monitor:latest
    docker pull harbor.od.com/infra/jenkins:v2.190.3
    

    nfs

    yum install nfs-utils -y
    

    kubernetes节点打标签

    kubectl label node hdss7-22.host.com node-role.kubernetes.io/master=
    kubectl label node hdss7-22.host.com node-role.kubernetes.io/node=
    
    展开全文
  • elasticsearch节点迁移

    2019-01-14 13:49:00
    本次迁移节点没有迁移索引,如果集群整体迁移需要进行索引迁移,参考 es索引迁移: https://blog.csdn.net/laoyang360/article/details/65449407 附属迁移 待es恢复至green状态后需要配置logstash、...

    环境

    系统: centos7

    工具: ansible

    情景:将host1节点上的es迁移至host4,缓解A机器资源压力。

    准备

    • 停止logstash服务,部署位置:host1

    • 停止elasticsearch服务,asible-playbook elasticsearch -v "action=stop"

    • es使用ansible部署,更改部署脚本 elasticsearch.yml

      ---
      - hosts: host1 host2 host3 host4
        gather_facts: False
        roles:
          - role: elasticsearch
            memory: 10g
            es_cluster_name: 'cy_es_cluster'
            es_cluster_servers: ['host1', 'host2', 'host3', 'host4']
      
      
    • 如上,先增加要部署的新节点机器 db10

    部署

    新节点部署es服务:

    $ ansible-playbook elasticsearch -l host4
    

    部署完成后手动启动服务,调试:

    • db10配置有防火墙,需要为es集群机器开放9200、9300、18019端口,编辑 host_vars/db10.yml

        - '# elasticsearch'
        - '-A INPUT -s ip/24  -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT'
        - '-A INPUT -s ip/24  -m state --state NEW -m tcp -p tcp --dport 9300 -j ACCEPT'
        - '-A INPUT -s ip/24  -m state --state NEW -m tcp -p tcp --dport 18019 -j ACCEPT'
      
    • 启动集群中其他机器es服务:asible-playbook elasticsearch -v "action=start"

    • 等待es集群恢复健康状态,查看es状态信息(等待时间比较长):

      # 查看节点信息
      $ curl 'host4:9200/_cat/nodes'
      
      # 查看集群健康状况
      $ curl 'host4:9200/_cat/health'
      
      # 查看集群状态
      $ curl 'host4:9200/_cluster_health?pretty'
      
    • 待es集群健康状态恢复之 “green” 后进行节点的切换,去除旧节点host1。

    • 集群会自动恢复至green健康状态。

    • 注意: 本次迁移单节点没有迁移索引,如果集群整体迁移需要进行索引迁移,参考

    附属迁移

    待es恢复至green状态后需要配置logstash、kibana以及grafna(kibana和grafna之前都是从md6采集数据)。

    • ansible中更改logstash.yml中es对应的hosts如下:

      - hosts: host1
        gather_facts: False
        tags: ['elasticsearch']
        vars:
          config:
            kafka:
              bootstrap_servers: md3:9092,md6:9092,md11:9092
              group_id: elasticsearch
            elasticsearch:
              hosts: ["host1_ip:9200", "host2_ip:9200", "host3_ip:9200"]
      
      • 重置logstash配置 ansible-playbook logstash.yml
      • 启动logstash,systemctl start logstash
    • 更改kibana配置/etc/kibana/kibana.yml

      elasticsearch.url: "http://ip:9200"  # ip对应es集群中的一台机器
      
    • 更改grafna数据源,将所有来自es的数据源ip更换为es机器中一台机器的ip。

    检查kibana和grafna无异常,即完成迁移。

    转载于:https://my.oschina.net/adailinux/blog/3001152

    展开全文
  • k8s集群-master节点迁移

    千次阅读 2019-06-18 11:06:00
    1,在新机器上安装k8s master ,执行好kubelet init 2, 将旧mtaser 的 /var/lib/etcd/ /var/lib/kubelet /etc/kubernetes 文件夹覆盖到新的master

    1,在新机器上安装k8s master ,执行好kubelet init
    2, 将旧mtaser 的 /var/lib/etcd/ /var/lib/kubelet  /etc/kubernetes  文件夹覆盖到新的master

    展开全文
  • 基于node的迁移包。 奇努克是一种鲑鱼,一种洄游鱼。 哲学 chinook 的理念是你应该靠近你的数据库——这体现在几个方面: 您可以使用纯 sql 编写迁移,不需要使用 DSL。 chinook 不提供用于 node 中迁移的 DSL,但...
  • MongoDB的节点迁移状态存储 这是框架的。 它将您的迁移状态存储在一个名为migrations的MongoDB集合中,该集合包含一个文档。 如果您使用node-migrate迁移MongoDB,则将状态保留在数据库本身中是有道理的,而不是...
  • etcd-cluster-migrator-app图表 Giant Swarm提供了一个etcd-cluster-migrator应用程序,可以将其安装在租户集群中。 如果租户群集从单主机更新为多主机,则将...该应用程序将从一个etcd节点迁移到三个群集节点。 信用
  • 迁移-mongodb-持久性 用于 CLI 的 Mixin,它将将当前迁移状态持久化到 MongoDB 集合而不是平面文件。 当您有多个临时应用程序服务器(和文件系统)共享一个数据库时,这很有用。 每个数据库只需要迁移一次; 不是每...
  • HDFS_数据迁移&节点迁移

    千次阅读 2017-11-23 09:39:20
    一、数据迁移 使用场景:① 冷热集群数据分类存储 ② 集群数据整体搬迁 ③ 数据的准实时同步,目的在于数据的双备份可用 数据迁移要素考量:① 带宽Bandwidth:需要限流② 性能Performance:采用单机程序还是...
  • 也就是向从节点发送”CLUSTER FAILOVER”命令,使其在主节点未下线的情况下,发起故障转移流程,升级为新的主节点,而原来的主节点降级为从节点。  为了不丢失数据,向从节点发送”CLUSTER FAILOVER”命令后,...
  • elasticsearch节点数据迁移

    千次阅读 2018-08-13 16:13:12
    最近笔者的es集群有一个节点的机器有硬件问题,准备置换新机器,所以想把这台机器上的所有es数据都迁移到别的节点上面(一台机器5T左右的数据,生产网段不考虑物理迁移)。 下面讲一下迁移的步骤及方法: 首先我的...
  • 本文档讲述如何将Cloudera Manager在Kerberos环境下迁移至新的CM节点。通过本文档,您将学习到以下知识: 1.如何迁移Cloudera Manager节点 2.如何迁移MySQL元数据库 3.如何迁移Kerberos MIT KDC 文档主要分为以下几...
  • k8s node节点停机维护,pod如何迁移

    千次阅读 2020-09-01 08:48:22
    需求 k8s集群中的node节点要升级内存,以应对服务迁入、...其实事实并非如此,k8s在等待5分钟后,会自动将停机node节点上的pod自动迁移到其他node节点上。 具体过程如下: # 1.模拟node节点停机,停止kubelet systemctl
  • 当Kafka 减少Broker节点后,需要把数据分区迁移到其他节点上,以下将介绍我的一次迁移验证过程。 前3步为环境准备,实际数据操作看第4步即可 增加Broker节点,也可以采用步骤4相同的方法进行重新分区 方案思想:...
  • 矿机节点如何迁移?矿机的文件结构操作方法Docker的迁移方法 矿机的文件结构 参考文档:https://blog.csdn.net/weixin_46596227/article/details/117622926 /Users/sig/.bee ├── keys │ ├── libp2p.key │ ├...
  • redis 集群-新增加节点并数据迁移

    千次阅读 2017-08-17 14:56:07
    现在我们已经有一个包含6个节点的集群,我写了段代码,往集群写入10W条测试数据。 现在模拟机器扩容场景,为集群加入一个master节点7006和一个slave节点7007。 redis-trib.rb add-node 10.211.55.4:7006 10.211....
  • Redis Cluster迁移目标节点宕机下填坑

    千次阅读 2017-12-18 09:53:30
    转载自 听滴滴大神给你讲Redis Cluster迁移遇到的坑 问题背景 应@冬洪兄邀请,让我把最近在处理Redis Cluster中遇到的坑分享下,由于个人时间问题,大致整理了一个比较大,比较坑的问题,...模拟迁移数据目标节点
  • kubernetes平滑迁移某个节点上的pod

    千次阅读 2019-12-10 10:09:57
    在1.2之前,因为没有相应的命令支持,如果要维护一个节点,只能stop该节点上的kubelet将该节点退出集群,是集群不在将新的pod调度到该节点上。如果该节点上本生就没有pod在运行,则不会对业务有任何影响。如果该节点...
  • redis--节点新增,切换,数据迁移

    千次阅读 2017-09-13 15:09:14
    新增redis节点, redis版本为redis-3.0.7 ruby-2.2.2 添加主节点到集群命令:  [xxxxxx src]# ./redis-trib.rb add-node 192.168.76.116:6380 192.168.76.116:6379 >>> Adding node 192.168.76.116:6380...
  • mongoDB 从单节点迁移到分布式集群 遇到的问题: 1.linux 环境下limit 的设置问题:  错误:  $ ps -ef|grep mongod  -bash: fork: retry: 资源暂时不可用  -bash: fork: retry: 资源暂时不可用  ^C-...
  • kafka 迁移或添加新节点

    千次阅读 2016-08-11 11:53:00
    迁移 或 添加节点 第一步 部署一台新节点 server.properties和老节点基本一样 需要修改下面几处: # 这个是新节点ID,自己设置个新的就行 broker.id=2 # 这个是新节点的ip地址 host.name=10.25.115.223 第二...
  • 记一次ES节点扩容、数据迁移实践

    千次阅读 2018-11-22 15:27:20
    记一次ES节点扩容、数据迁移实践 背景 之前ES集群里的数据越来越大,日增500G日志数据,需要做一波扩容。 节点信息 目前集群中的节点信息如下: 节点 CPU、MEM DISK 磁盘使用率 节点角色 es01 16C 32G 2*1T 71%...
  • 计算节点宕机后,vm的迁移方法

    千次阅读 2017-09-13 16:09:19
    当计算节点异常断电或者发生故障后,导致计算节点无法正常工作,这时该计算节点上面的vm如何迁移到别的可用计算节点上呢? 由于宕机的计算节点上面的nova-compute服务已经down了,所以shelve和migrate操作无法运行,...
  • Rancher提供了两种安装方法,即...针对开源用户,对于从单个节点迁移到HA的工作,Rancher Labs不提供官方技术支持。 以防在此过程中出现问题,您应该熟悉Rancher架构以及故障排除的方法。 前期准备 为了顺利将单...
  • DataNode迁移方案

    千次阅读 2016-01-08 17:44:44
    DataNode迁移方案目标由于外界因素的影响,需要将原有dn所在节点的机器从A机房换到B机房,其中会涉及到主机名和IP的改变.最终的目标是迁移之后对集群不造成大影响, 服务依然可用,数据不发生丢失.相关知识因为在dn迁移...
  • CDH集群迁移

    千次阅读 2017-02-06 16:06:09
    目录一:集群搭建二:hdfs数据迁移三:kafka节点添加四:hbase数据迁移———————————————————————————————————–一:集群搭建参考:... 1、新集群搭建完毕 2、新老机器所有yarn节点...
  • 针对这个问题我们对etcd采取了迁移到好的裸金属主机上或者在虚拟机上挂上块存储,以下介绍我们在生产环境上执行etcd的三种迁移方式。 情景一、三台etcd集群所在目录的磁盘性能达不到,分别在三台etcd的虚拟机上单独...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 122,241
精华内容 48,896
关键字:

节点迁移