精华内容
下载资源
问答
  • 大数据_08 【新增节点与删除节点

    万次阅读 2020-10-14 21:05:44
    大数据_08 【新增节点与删除节点】服役新节点具体步骤01 需求基础02 准备新节点03 服役新节点具体步骤退役旧数据节点 服役新节点具体步骤 01 需求基础 需求基础 随着公司业务的增长,数据量越来越大,原有的数据...

    服役新节点具体步骤

    01 需求基础

    需求基础 随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。

    02 准备新节点
    1. 复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来,作为我们新的节点
    2. 第二步:修改mac地址以及IP地址
    3. 第三步:关闭防火墙,关闭selinux
    4. 第四步:更改主机名
    5. 第五步:四台机器更改主机名与IP地址映射
    6. 第六步:node04服务器关机重启并生成公钥与私钥
    7. 第七步:node04安装jdk
    8. 第八步:解压Hadoop安装包
    9. 第九步:将node01关于Hadoop的配置文件全部拷贝到node04
    03 服役新节点具体步骤
    1. 在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件
    [root@node01 Hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    [root@node01 Hadoop]# touch dfs.hosts
    [root@node01 Hadoop]# vim dfs.hosts
    

    添加如下主机名称(包含新服役的节点)

    node01
    node02
    node03
    node04
    
    1. 第二步:node01编辑hdfs-site.xml添加以下配置(在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性node01执行以下命令)
    cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
    vim hdfs-site.xml
    
    <property>
    <name>dfs.hosts</name>
    <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
    </property>
    
    1. 第三步:刷新namenode
    [root@node01 Hadoop]# hdfs dfsadmin -refreshNodes
    Refresh nodes successful
    
    1. 第四步:更新resourceManager节点 node01执行以下命令刷新resourceManager
    [root@node01 Hadoop]# yarn rmadmin -refreshNodes
    19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033
    
    1. 第五步:namenode的slaves文件增加新服务节点主机名称
      node01编辑slaves文件,并添加新增节点的主机,更改完后,slaves文件不需要分发到其他机器上面去
      node01执行以下命令编辑slaves文件
    cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
    vim slaves
    
    node01
    node02
    node03
    node04
    
    1. 第六步:单独启动新增节点 node04服务器执行以下命令,启动datanode和nodemanager
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    sbin/hadoop-daemon.sh start datanode
    sbin/yarn-daemon.sh start nodemanager
    
    1. 第七步:浏览器查看
    http://node01:50070/dfshealth.html#tab-overview
    
    http://node01:8088/cluster
    
    1. 第八步:使用负载均衡命令,让数据均匀负载所有机器
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    sbin/start-balancer.sh
    

    退役旧数据节点

    1. 第一步:创建dfs.hosts.exclude配置文件

    在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件,并添加需要退役的主机名称 node01执行以下命令

    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    touch dfs.hosts.exclude
    vim dfs.hosts.exclude
    
    node04
    
    1. 第二步:编辑namenode所在机器的hdfs-site.xml

    编辑namenode所在的机器的hdfs-site.xml配置文件,添加以下配置
    node01执行以下命令

    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    vim hdfs-site.xml
    
    	<property>
                <name>dfs.hosts.exclude</name>
                <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
        </property>
    
    1. 第三步:刷新namenode,刷新resourceManager

    在namenode所在的机器执行以下命令,刷新namenode,刷新resourceManager 并重启集群

    hdfs dfsadmin -refreshNodes
    yarn rmadmin -refreshNodes

    1. 第四步:查看web浏览界面 浏览器访问 http://node01:50070/dfshealth.html#tab-datanode

    在这里插入图片描述

    1. 第五步:节点退役完成,停止该节点进程

    等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。·

    node01执行以下命令,停止该节点进程

    cd /export/servers/hadoop-2.6.0-cdh5.14.0
    sbin/hadoop-daemon.sh stop datanode
    sbin/yarn-daemon.sh stop nodemanager
    
    1. 第六步:从include文件中删除退役节点 namenode所在节点也就是node01执行以下命令删除退役节点
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    vim dfs.hosts
    
    node01
    node02
    node03
    

    namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager

    hdfs dfsadmin -refreshNodes
    yarn rmadmin -refreshNodes

    1. 第七步:从namenode的slave文件中删除退役节点
      namenode所在机器也就是node01执行以下命令从slaves文件中删除退役节点
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    vim slaves
    
    1. 第八步:如果数据负载不均衡,执行以下命令进行均衡负载 node01执行以下命令进行均衡负载
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/
    sbin/start-balancer.sh
    
    展开全文
  • python创建neo4j图库节点节点之间的关系

    万次阅读 多人点赞 2020-08-07 11:29:30
    python创建neo4j节点节点之间的关系(连接)打开neo4j本地服务器,python连接。(数据加载)需要创建的节点及其关系重点(neo4j与python代码演示)①创建节点函数②查询节点函数③节点之间创建关系函数④加载进...

    (连接)打开neo4j本地服务器,python连接。

    在这里插入图片描述
    python连接代码

    username = ***  
    password = *** (自己设置的neo4j的密码)
    graph = Graph('http://localhost:7474',username=username,password=password)
    

    (数据加载)需要创建的节点及其关系

    为了简单演示:我是简单的创建了几个节点及关系。大家可自行更改。
    这里演示的数据如下:
    在这里插入图片描述

    重点(neo4j与python代码演示)

    ①创建节点函数

    在这里插入图片描述

    ②查询节点函数

    在这里插入图片描述

    ③节点之间创建关系函数

    在这里插入图片描述

    ④加载进neo4j图库

    在这里插入图片描述

    ⑤neo4j图库结果展示

    在这里插入图片描述

    完整代码

    下面展示一些 内联代码片

    import pandas as pd
    from py2neo import Node,Relationship,Graph,NodeMatcher,RelationshipMatcher
    # 创建节点
    def CreateNode(m_graph,m_label,m_attrs):
        m_n="_.name="+"\'"+m_attrs['name']+"\'"
        matcher = NodeMatcher(m_graph)
        re_value = matcher.match(m_label).where(m_n).first()
        print(re_value)
        if re_value is None:
            m_mode = Node(m_label,**m_attrs)
            n = graph.create(m_mode)
            return n 
        return None
    # 查询节点
    def MatchNode(m_graph,m_label,m_attrs):
        m_n="_.name="+"\'"+m_attrs['name']+"\'"
        matcher = NodeMatcher(m_graph)
        re_value = matcher.match(m_label).where(m_n).first()
        return re_value
    # 创建关系
    def CreateRelationship(m_graph,m_label1,m_attrs1,m_label2,m_attrs2,m_r_name):
        reValue1 = MatchNode(m_graph,m_label1,m_attrs1)
        reValue2 = MatchNode(m_graph,m_label2,m_attrs2)
        if reValue1 is None or reValue2 is None:
            return False
        m_r = Relationship(reValue1,m_r_name,reValue2)
        n = graph.create(m_r)
        return n 
    graph = Graph('http://localhost:7474',username='neo4j',password='yangZAI520')
    
    Names = ["老师","超市","程序员","小卖部","阳仔公司"]
    action = ["传授","销售","敲","售卖","提供"]
    things = ["知识","日常用品","代码","日常用品","餐饮服务"]
    data = pd.DataFrame({"名称":Names,"字段":things,"方式":action})
    data
    
    username = ***  
    password = *** (自己设置的neo4j的密码)
    graph = Graph('http://localhost:7474',username=username,password=password)
    
    label1 = "Name"
    label2 = "things"
    for i,j in data.iterrows():
        # 名称
        attr1 = {"name":j.名称}
        CreateNode(graph,label1,attr1)
        # 产品
        attr2 = {"name":j.字段}
        CreateNode(graph,label2,attr2)
    
        m_r_name = j.方式
        reValue = CreateRelationship(graph,label1,attr1,label2,attr2,m_r_name)
        print(reValue)
    
    

    在这里插入图片描述

    展开全文
  • k8s节点STATUS始终为NoReady的解决方法

    万次阅读 2020-09-16 16:51:15
    这里先讲一下我遇到的情况 我使用的是Vmware的克隆功能,...因此再次启动集群的时候由于k8s-node1节点中/etc/hostname文件内容和集群名同名(或者和集群中节点主机同名),导致该节点加入不了集群中,解决办法 永久修

    这里先讲一下我遇到的情况
    我使用的是Vmware的克隆功能,克隆两台一模一样的虚拟机。
    导致/etc/hostname文件中的内容和被克隆的虚拟机有着一样的主机名
    起初的时候使用

    临时修改hostname

    命令格式hostname 节点名称

    hostname k8s-node1
    

    后面重启了集群和节点,导致临时修改的hostname失效了。
    因此再次启动集群的时候由于k8s-node1节点中/etc/hostname文件内容和集群名同名(或者和集群中节点主机同名),导致该节点加入不了集群中,解决办法

    永久修改hostname

    vim /etc/hostname
    

    修改文件内容为其它值即可,例如k8s-node1


    修改hosts文件中错误的ip映射关系

    vim /etc/hosts
    

    如下
    在这里插入图片描述


    最后重启服务器即可


    如果上述还没解决文件,那么可以重置改节点

    kubeadm reset
    

    接着删除之前加入集群传过来的ca证书文件

    rm -f /etc/kubernetes/pki/ca.crt
    

    然后再master节点获取加入节点的命令

    kubeadm token create --ttl 0 --print-join-command
    

    如下图
    在这里插入图片描述

    复制这条命令,在NoReady的节点上重新执行加入到集群中即可

    展开全文
  • 节点,子节点,叶节点

    千次阅读 2019-04-22 23:44:30
    节点:树的最顶端的节点节点:除根节点之外,并且本身下面还连接有节点节点节点:本身下面不再连接有节点节点,即末端

    根节点:树的最顶端的节点
    子节点:除根节点之外,并且本身下面还连接有节点的节点
    叶节点:本身下面不再连接有节点的节点,即末端

    展开全文
  • TensorFlow查看输入节点和输出节点名称

    万次阅读 热门讨论 2019-04-21 15:58:13
    TensorFlow 定义输入节点名称input_name: with tf.name_scope('input'): bottleneck_input = tf.placeholder_with_default( bottleneck_tensor, shape=[batch_size, bottleneck_tensor_size], ...
  • 一,js 获取元素(父节点,子节点,兄弟节点)  var test = document.getElementById("test");  var parent = test.parentNode; // 父节点  var chils = test.childNodes; // 全部子节点  var first = test....
  • HDFS新增节点与删除节点

    万次阅读 2019-11-06 21:47:56
    准备工作: ...1.1 在主节点创建dfs.hosts文件 在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下 添加如下主机名称(包含新服役的节点) [root@node01 Hadoo...
  • JS获取子节点、父节点和兄弟节点的若干种方式

    万次阅读 多人点赞 2017-07-22 16:50:49
    一、js获取子节点的方式1.通过获取dom方式直接获取子节点其中test的父标签id的值,div为标签的名字。getElementsByTagName是一个方法。返回的是一个数组。在访问的时候要按数组的形式访问。var a = document....
  • 节点、子节点、叶子节点是什么?

    千次阅读 多人点赞 2020-11-25 00:12:09
    下面给个例子图解释(根节点、子节点、叶子节点)。 上图数字 1、3、7是叶子节点;(因为他们下面没有分叉出子节点,所以称为:叶子节点)【度为0】 数字2、8是子节点; (除了根节点、叶子节点之外的,都称为:...
  • 关于原生JS获取节点,一直是个头疼的问题,而且调用方法的名字又贼长了,所以我选择用JQ,好像跑题了-- 话不多说看代码 获取父节点 及 父节点下所有子节点(兄弟节点) &lt;ul&gt; &lt;li&gt...
  • 所谓的树形结构就是各个元素之间具有分层关系的数据结构,常用一棵倒置的树来表示逻辑关系。...所谓的根节点就是树的最顶端的节点, 继续往下分为子节点, 当不断细分直到不再有子节点时为叶子节点。...
  • HDFS(名称节点与数据节点)简介

    万次阅读 2017-05-29 10:29:05
    这些节点分为主从节点,主节点可叫作名称节点(NameNode),从节点可叫作数据节点(DataNode) HDFS通过块的模式存储数据,默认情况下一个块是64M,把大文件拆分成多个块,可以最小化寻址开销 这样的好处是: 1....
  • jquery 获取元素(父节点,子节点,兄弟节点)

    万次阅读 多人点赞 2019-05-10 15:33:01
    费话不多说,直接上代码 ... // 父节点 $("#test1").parents(); // 全部父节点 $("#test1").parents(".mui-content");//返回class为mui-content的父节点 $("#test").children(); // 全部子节点 $("#test").children(...
  • ∵ 在树中,除了根节点没有前驱结点,其他节点有且只有一个前驱节点(树的定义) 又∵ 父结点的‘度’是子结点的个数,而每个子结点前驱结点都是该父结点 ∴ 因此,所有结点的“度”加起来,就是把所有结点子结点的个...
  • 1群组3机构6节点 每个节点的IP,端口号为如下: 机构 节点 所属群组 P2P地址 RPC Channel监听地址 机构A 节点0 ...
  • 后继节点和前驱节点

    千次阅读 2019-03-23 12:22:37
    如果没有右子树,则找当前节点的父节点,并且当前节点是父节点的左子树的节点。 红圈代表的是当前节点,箭头代表的后继节点,也就是中序遍历中相对当前节点的下一个。 public static class Node{ public int ...
  • 先介绍一下节点类型都有哪些:一、节点类型节点类型 属性nodeType返回值 元素节点1属性节点2文本节点3注释节点(comment)8document9DocumentFragment11所以一般我们获取节点类型用 nodeType二、遍历节点树这种...
  • 元素节点 元素标记名/节点名称, 相当于tagName .属性节点 属性节点返回属性名, 文本节点 文本节点返回#text。nodeName,是只读的。 2 .nodeType 1,元素节点; 2,属性节点; 3,文本节点。nodeType是...
  • <span @click="getClickInfo(event)"> </span> getClickInfo: function (e) { let clickDom = e.currentTarget; // currentTarget 获取绑定点击事件的节点 ...
  • 今天在做一个项目拿兄弟节点的事,刚开始拿不到,后来网上查了一下,于是 便找到方法了,下面把我的问题写出来,话不多说直接上问题, 遇到的问题是我要通过点击删除按钮删除这一行数据,后端给的接口要传的参数...
  • QTreeWidget删除节点及子节点

    千次阅读 2020-09-06 17:53:58
    QTreeWidget删除节点及子节点方案一方案二 方案一 删除当前选中的节点及其子节点。 该代码存在问题,在删除子节点的时候,并未对孙子节点进行处理。 QTreeWidgetItem* item=ui->analogTreeWidget->currentItem...
  • MySQL查询某个子节点的顶级节点(根节点)或者所有父节点 假设表t_menu为: id(varchar) parent_id(varchar) name(varchar) 111 null aaa 222 111 bbb 333 222 ccc 查询id为...
  • JS获取子节点、父节点和兄弟节点

    千次阅读 2019-03-12 18:01:44
    JS获取子节点、父节点和兄弟节点js获取子节点获取指定标签子节点获取所有子节点获取第一个子节点获取最后一个子节点js获取父节点js获取兄弟节点 js获取子节点 获取指定标签子节点 var a = document....
  • 节点父、子和同胞 节点树中的节点彼此拥有层级关系。 ...父(parent)、子(child)和同胞(sibling)等术语用于描述这些关系。...在节点树中,顶端节点被称为根(root)每个节点都有父节点、除
  • jq子节点、兄弟节点、父节点的学习

    千次阅读 2019-02-21 20:53:55
    jq对象的子节点、兄弟节点、父节点
  • 最近有些同学过来问我如何判断zookeeper的节点是持久节点还是临时节点?其实很简单,接下来我们就来看看判断方法。   zookeeper 持久节点:该数据节点被创建后,就会一直存在于zookeeper服务器上,直到有删除操作...
  • //该方法会删除当前节点下的所有子节点,请注意当前节点不会 被删除 $().remove(); //该方法会删除当前节点下的所有子节点,请注意 当前节点会 被删除 $().append('something') //该方法在当前节点的末尾 ...
  • 二叉树前驱节点与后继节点

    千次阅读 2019-03-21 08:51:44
    前驱节点:对一棵二叉树进行中序遍历,遍历后的顺序,当前节点的前一个节点为该节点的前驱节点; 后继节点:对一棵二叉树进行中序遍历,遍历后的顺序,当前节点的后一个节点为该节点的后继节点; 例如一颗完全二叉树...
  • 获取父节点、祖先节点: 1. parents([selector]) 本方法用于选择给定 jQuery 对象中包含的 DOM 元素或者 DOM 元素集的祖先节点,并将这些节点包装成 jQuery 对象返回,返回的节点集是以从里到外的顺序排序的。同时...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 713,737
精华内容 285,494
关键字:

节点