精华内容
下载资源
问答
  • 服务器上查看hadoop用户
    千次阅读
    2022-04-03 18:25:46

    hadoop的用户和用户组使用的是Linux中的用户组。先看一个问题,如何把root用户加入到超级组supergroup
    先创建用户组:supergroup

    groupadd supergroup
    

    然后把root用户添加到该组

    usermod -a -G supergroup root
    

    刷新hadoop上的用户和用户组映射

     hdfs dfsadmin -refreshUserToGroupsMappings
    

    第一次执行,root用户并没有获得supergroup组的权限,可能是因为执行的机器hadoop01不是active状态,也可能是因为必须两个namenode必须都都有这个用户组才行,具体没有验证。直接在所有机器上执行了操作。
    查看namenode状态的命令

    hdfs haadmin -getAllServiceState
    

    在这里插入图片描述
    修改Hadoop文件用户组

    hadoop fs -chown root:root /user/root
    

    第一个root是用户组,第二个是用户

    [root@hadoop01 ~]# hadoop fs -ls /user
    Found 2 items
    drwx------   - hadoop supergroup          0 2020-12-27 18:56 /user/hadoop
    drwx------   - root   root                0 2020-12-27 19:24 /user/root
    

    为了方便在所有机器上执行同样的操作,写了一个脚本doAll

    for i in {5..1};
    do
    echo "正在服务器hadoop0${i}上执行操作:$1"
    ssh hadoop0${i} "${1}"
    done
    

    看效果

    [root@hadoop01 ~]# doAll 'groupadd supergroup'
    正在服务器hadoop05上执行操作:groupadd supergroup
    正在服务器hadoop04上执行操作:groupadd supergroup
    正在服务器hadoop03上执行操作:groupadd supergroup
    正在服务器hadoop02上执行操作:groupadd supergroup
    正在服务器hadoop01上执行操作:groupadd supergroup
    groupadd: group 'supergroup' already exists
    [root@hadoop01 ~]# doAll 'usermod -a -G supergroup root'
    正在服务器hadoop05上执行操作:usermod -a -G supergroup root
    正在服务器hadoop04上执行操作:usermod -a -G supergroup root
    正在服务器hadoop03上执行操作:usermod -a -G supergroup root
    正在服务器hadoop02上执行操作:usermod -a -G supergroup root
    正在服务器hadoop01上执行操作:usermod -a -G supergroup root
    [root@hadoop01 ~]# doAll 'usermod -a -G supergroup hadoop'
    正在服务器hadoop05上执行操作:usermod -a -G supergroup hadoop
    正在服务器hadoop04上执行操作:usermod -a -G supergroup hadoop
    正在服务器hadoop03上执行操作:usermod -a -G supergroup hadoop
    正在服务器hadoop02上执行操作:usermod -a -G supergroup hadoop
    正在服务器hadoop01上执行操作:usermod -a -G supergroup hadoop
    [root@hadoop01 ~]# doAll 'cat /etc/group |grep supergroup'
    正在服务器hadoop05上执行操作:cat /etc/group |grep supergroup
    supergroup:x:1001:root,hadoop
    正在服务器hadoop04上执行操作:cat /etc/group |grep supergroup
    supergroup:x:1001:root,hadoop
    正在服务器hadoop03上执行操作:cat /etc/group |grep supergroup
    supergroup:x:1001:root,hadoop
    正在服务器hadoop02上执行操作:cat /etc/group |grep supergroup
    supergroup:x:1001:root,hadoop
    正在服务器hadoop01上执行操作:cat /etc/group |grep supergroup
    supergroup:x:1001:root,hadoop
    
    更多相关内容
  • 服务器搭建Hadoop集群

    千次阅读 2022-04-17 21:44:22
    服务器搭建Hadoop集群一、配置服务器1. 创建普通用户2. 安装 Java 环境3.安装hadoop4.网络配置5.hadoop配置 一、配置服务器 1. 创建普通用户 说明:由于 root 环境下操作比较危险,所以这里新建一个普通用户来...

    一、配置服务器

    1. 创建普通用户

    • 说明:由于 root 环境下操作比较危险,所以这里新建一个普通用户来进行 hadoop 的搭建。
      创建一个普通用户 hadoop
    sudo useradd -m hadoop -s /bin/bash
    

    设置密码并重复一次

    sudo passwd hadoop
    

    给 hadoop 用户增加 sudo 管理员权限

    sudo adduser hadoop sudo
    

    关闭终端,重新登录,将用户名更改为 hadoop ,并输入密码登录
    切换到hadoop用户

    su hadoop
    

    2. 安装 Java 环境

    进入 /usr/lib 文件夹下

    cd /usr/lib
    

    创建 jvm 文件夹

    sudo mkdir jvm
    
    sudo tar -zxvf jdk-8u291-linux-x64.tar.gz -C /usr/lib/jvm
    
    • 编辑环境变量文件
    vim ~/.bashrc
    
    • 在文件头添加如下内容:
    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_291
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    
    • 保存后退出,并让 bashrc 文件重新生效
    source ~/.bashrc
    
    • 输入命令查看 Java 是否配置成功,显示如下即表示成功了
    java -version
    

    3.安装hadoop

    sudo tar -zxf hadoop-3.3.1.tar.gz -C /usr/local
    
    • 进入到 /usr/local 文件夹下,更改 hadoop-3.3.1 的文件名为 hadoop
    cd /usr/local
    sudo mv ./hadoop-3.3.1/ ./hadoop
    
    • 修改文件权限,让用户 hadoop 可以使用 hadoop 文件夹
    sudo chown -R hadoop ./hadoop
    
    • 进入到 hadoop 文件夹中,运行 hadoop,显示版本号即表示配置成功
      在这里插入图片描述

    4.网络配置

    • 配置hostname
      为了更好的在Shell中区分三台主机,修改其显示的主机名,执行如下命令
      在3台机器上分别执行
    sudo vim /etc/hostname
    

    在master的/etc/hostname中添加如下配置:

    master
    

    slave1的/etc/hostname中添加如下配置:

    slave1
    

    同理slave2

    slave2
    
    • 在三台机器的/etc/hosts文件中,添加如下配置
    ip1 master
    ip2 slave1
    ip3 slave2
    

    其中每台服务器自己的IP是内网IP,别人的是外网IP

    • 配置ssh免密登陆
      开始配置ssh之前,先确保三台机器都装了ssh。输入以下命令测试能否连接到本地,验证是否安装ssh。
    ssh localhost
    

    若不能,则安装open-server

    sudo apt-get openssh-server
    

    并生成ssh公钥。

    ssh-keygen -t rsa -P ""
    

    将公钥加入到已认证的key中

    cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
    

    在保证了三台主机电脑都能连接到本地localhost后,还需要让master主机免密码登录slave1和slave2主机。在master执行如下命令,将master的id_rsa.pub传送给两台slave主机。

    scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/
    scp ~/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/
    

    接着在slave1、slave2主机上将master的公钥加入各自的节点上,在slave1和slave2执行如下命令:

    cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
    rm ~/id_rsa.pub
    

    在master主机上直接执行如下测试命令,即可让master主机免密码登录slave1、slave2主机。

    ssh slave1
    ssh slave2
    

    5.hadoop配置

    在配置集群/分布式模式时,需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件,这里仅设置正常启动所必须的设置项,包括workers 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个

    • 修改文件workers
      本教程让Master节点仅作为名称节点使用,因此将workers文件中原来的localhost删除,只添加如下两行内容:
    slave1
    slave2
    
    • 配置文件配置
    cd /etc
    vim hadoop-env.sh
    将JAVA_HOME修改为本机的JAVA_HOME
    JAVA_HOME=/usr/lib/jvm/java-openjdk
    

    修改core-site.xml

      <configuration>
          <property>
              <name>hadoop.tmp.dir</name>
              <value>file:/usr/local/hadoop/tmp</value>
              <description>Abase for other temporary directories.</description>
          </property>
          <property>
              <name>fs.defaultFS</name>
              <value>hdfs://master:9000</value>
          </property>
      </configuration>
    

    修改hdfs-site.xml:

    	<configuration>
      		<property>
        		<name>dfs.replication</name>
            	<value>3</value>
      		</property>
    	</configuration>
    

    修改mapred-site.xml

    <configuration>
    	<property>
        	<name>mapreduce.framework.name</name>
        	<value>yarn</value>
    	</property>
    </configuration>
    

    修改yarn-site.xml

     <configuration>
      <!-- Site specific YARN configuration properties -->
          <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
          </property>
          <property>
              <name>yarn.resourcemanager.hostname</name>
              <value>master</value>
          </property>
      </configuration>
    

    配置好后,将 master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。速度较慢,也可直接在slave上重新配置

    cd /usr/local/
    tar -zcf ~/hadoop.master.tar.gz ./hadoop
    cd ~
    scp ./hadoop.master.tar.gz slave1:/home/hadoop
    scp ./hadoop.master.tar.gz slave2:/home/hadoop
    

    在slave1,slave2节点上执行:

    sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
    sudo chown -R hadoop /usr/local/hadoop
    
    • 启动Hadoop集群
      在master主机上执行如下命令:
    cd /usr/local/hadoop
    bin/hdfs namenode -format
    sbin/start-all.sh
    

    运行后,在master,slave1,slave2运行jps命令,查看:

    jps
    

    首次启动Hadoop集群时,需要先在Master节点执行名称节点的格式化(只需要执行这一次,后面再启动Hadoop时,不要再次格式化名称节点),命令如下

    hdfs namenode -format
    

    6.执行分布式实例

    首先创建HDFS上的用户目录,命令如下:

    hdfs dfs -mkdir -p /user/hadoop
    

    然后,在HDFS中创建一个input目录,并把“/usr/local/hadoop/etc/hadoop”目录中的配置文件作为输入文件复制到input目录中,命令如下:

    hdfs dfs -mkdir input
    hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input
    

    接着就可以运行 MapReduce 作业了,命令如下:

     hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'
    

    3.0之后hadoop登录端口9870

    展开全文
  • 服务器部署hadoop集群

    千次阅读 2022-04-02 12:43:14
    0、准备 #1、服务器必须都在同一个vpc下 ping内网ip能直接ping通 ...#5、服务器的主机名修改成自己的 我的是 hadoop102 hadoop103 hadoop104 集群部署规划: 根据规划配置好ssh免密登录 我的hdfs 在hadoop1

    0、准备

    #1、服务器必须都在同一个vpc下 ping内网ip能直接ping通
    #2、添加腾讯云的防火墙规则 (同一个vpc下内网之间所有端口互通)
    #3、hadoop版本3.1.3 jdk 1.8
    #4、一定不要开启云服务器 yarn 端口的防火墙 会被挖矿病毒 kdevtmpfsi 入侵 (或者限制外网ip来源)
    #5、服务器的主机名修改成自己的 我的是 hadoop102 hadoop103 hadoop104
    

    在这里插入图片描述

    集群部署规划:
    在这里插入图片描述

    • 根据规划配置好ssh免密登录

      • 我的hdfs 在hadoop102 ,yarn 在hadoop103 所以需要配置这两台与其他服务器的免密登录

        #生成密钥
        ssh-keygen
        
        #分发公钥
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop102
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop103
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop104
        

    1、配置环境变量

    vi /etc/profile.d/my_env.sh
    
    #路径修改成自己的路径
    #内容
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.1.3
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_321
    export PATH=$PATH:$JAVA_HOME/bin
    
    #启用配置
    source /etc/profile
    

    2、在/usr/local/bin创建3个脚本方便管理集群

    • 1、xsync 分发脚本(只需要修改相关主机名)

      #!/bin/bash
      
      #1. 判断参数个数
      if [ $# -lt 1 ]
      then
          echo Not Enough Arguement!
          exit;
      fi
      
      #2. 遍历集群所有机器
      for host in hadoop102 hadoop103 hadoop104
      do
          echo ====================  $host  ====================
          #3. 遍历所有目录,挨个发送
      
          for file in $@
          do
              #4. 判断文件是否存在
              if [ -e $file ]
                  then
                      #5. 获取父目录
                      pdir=$(cd -P $(dirname $file); pwd)
      
                      #6. 获取当前文件的名称
                      fname=$(basename $file)
                      ssh $host "mkdir -p $pdir"
                      rsync -av $pdir/$fname $host:$pdir
                  else
                      echo $file does not exists!
              fi
          done
      done
      
    • 2、集群启动脚本myhadoop.sh(需要跟集群规划相符)

      #!/bin/bash
      
      if [ $# -lt 1 ]
      then
          echo "No Args Input..."
          exit ;
      fi
      
      case $1 in
      "start")
              echo " =================== 启动 hadoop集群 ==================="
      
              echo " --------------- 启动 hdfs ---------------"
              ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
              echo " --------------- 启动 yarn ---------------"
              ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
              echo " --------------- 启动 historyserver ---------------"
              ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
      ;;
      "stop")
              echo " =================== 关闭 hadoop集群 ==================="
      
              echo " --------------- 关闭 historyserver ---------------"
              ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
              echo " --------------- 关闭 yarn ---------------"
              ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
              echo " --------------- 关闭 hdfs ---------------"
              ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
      ;;
      *)
          echo "Input Args Error..."
      ;;
      esac
      
    • 3、查看进程脚本 jpsall

      #!/bin/bash
      
      for host in hadoop102 hadoop103 hadoop104
      do
              echo =============== $host ===============
              ssh $host jps 
      done
      

    3、集群配置

    • 编辑core-site.xml(配置文件按在 $HADOOP_HOME/etc/hadoop下面)
    <configuration>
        <!-- 指定NameNode的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop102:8020</value>
        </property>
    
        <!-- 指定hadoop数据的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-3.1.3/data</value>
        </property>
    
        <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
        <property>
            <name>hadoop.http.staticuser.user</name>
            <value>root</value>
        </property>
    </configuration>
    
    • 编辑 hdfs-site.xml

      <configuration>
      	<!-- nn web端访问地址-->
      	<property>
              <name>dfs.namenode.http-address</name>
              <value>hadoop102:9870</value>
          </property>
      	<!-- 2nn web端访问地址-->
          <property>
              <name>dfs.namenode.secondary.http-address</name>
              <value>hadoop104:9868</value>
          </property>
      </configuration>
      
    • 编辑 yarn-site.xml

      <configuration>
          <!-- 指定MR走shuffle -->
          <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
          </property>
      
          <!-- 指定ResourceManager的地址-->
          <property>
              <name>yarn.resourcemanager.hostname</name>
              <value>hadoop103</value>
          </property>
      
          <!-- 环境变量的继承 -->
          <property>
              <name>yarn.nodemanager.env-whitelist</name>
              <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
          </property>
          <!-- 开启日志聚集功能 -->
          <property>
              <name>yarn.log-aggregation-enable</name>
              <value>true</value>
          </property>
          <!-- 设置日志聚集服务器地址 -->
          <property>  
              <name>yarn.log.server.url</name>  
              <value>http://hadoop102:19888/jobhistory/logs</value>
          </property>
          <!-- 设置日志保留时间为7天 -->
          <property>
              <name>yarn.log-aggregation.retain-seconds</name>
              <value>604800</value>
          </property>
      </configuration>
      
    • 编辑mapred-site.xml

      <configuration>
      	<!-- 指定MapReduce程序运行在Yarn上 -->
          <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
          </property>
          <!-- 历史服务器端地址 -->
          <property>
              <name>mapreduce.jobhistory.address</name>
              <value>hadoop102:10020</value>
          </property>
          <!-- 历史服务器web端地址 -->
          <property>
              <name>mapreduce.jobhistory.webapp.address</name>
              <value>hadoop102:19888</value>
          </property>
      </configuration>
      

    4、修改启动命令

    hadoop不能直接用root用户启动 、添加用户、设置权限那些挺繁琐的,所以直接修改启动脚本

    修改 $HADOOP_HOME/sbin/下的脚本

    • 修改 start-dfs.sh stop-dfs.sh(直接添上就行)

      #!/usr/bin/env bash
      HDFS_DATANODE_USER=root
      HADOOP_SECURE_DN_USER=hdfs
      HDFS_NAMENODE_USER=root
      HDFS_SECONDARYNAMENODE_USER=root
      
    • 修改start-yarn.sh stop-yarn.sh

      #!/usr/bin/env bash
      YARN_RESOURCEMANAGER_USER=root
      HADOOP_SECURE_DN_USER=yarn
      YARN_NODEMANAGER_USER=root
      

    5、使用xsyn脚本分发hadoop 、jdk、my_env.sh

    xsync /opt/module/hadoop3.1.3 /opt/module/jdkxxxx
    
    #每个服务器应用一下环境变量
    source /etc/profile
    

    6、执行myhadoop.sh 访问集群 jpsall查看所有服务器进程

    可以看到进程与集群规划一致
    在这里插入图片描述

    在这里插入图片描述
    hadoop生态仿佛有很多漏洞,服务器容易被各种挖矿病毒感染,如果不慎被感染,需要重装系统,可以按照以下步骤来:
    1、关闭hadoop相关端口的外网访问(被病毒入侵的主要原因)
    2、备份重要脚本和数据(集群分发脚本、进程脚本,集群启动脚本等…)
    3、重装系统过后关闭机器的防火墙
    4、(如果有)修改zookeeper、kafka相关集群配置(每台服务器的id要不一样)
    5、如果集群是第一次启动,需要在hadoop102节点格式化NameNode(注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。)
    在hadoop namenode 节点执行:hdfs namenode -format
    6、hadoop集群正常启动,而flink集群因为恢复任务而启动失败(hadoop集群已经在第五步格式化,自然没有保存相关的flink的checkpoints信息),需要删除zookeeper保存的flink path下的数据:
    (1)使用zookeeper的zkCli.sh脚本启动客户端
    (2)ls / 显示所有保存的文件
    (3)deleteall flink相关文件

    展开全文
  • Hadoop在Linux服务器上的搭建

    千次阅读 2022-02-10 10:59:26
    Hadoop服务器端搭建

    1.查看自己是否安装了Java环境
    hadoop的部署是需要配置Java环境,这个就不具体展开了,可以通过命令
    java -version 查看版本信息以及 echo $JAVA_HOME 命令查看Java的路径。
    2.去Hadoop上的官网下载Hadoop的资源这里赋上下载的地址如下
    Hadoop下载地址
    注意下载的时候不要下载错误了是其中的 hadoop-3.2.2.tar.gz 文件。下载好之后可以传到你的Linux服务器上。之后利用tar -zxvf命令解压包。
    3. 设置你的ssh变成免密登录
    用如下命令看你是否是ssh免密登录,如果不需要输入密码则设置成功

     $ ssh localhost
    

    如果需要设置密码那么就按如下操作再次尝试

      $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
      $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
      $ chmod 0600 ~/.ssh/authorized_keys
    

    4.修改配置文件
    进入刚才解压包hadoop-3.2.2里面配置如下的文件信息.
    选择etc/hadoop/core-site.xml 文件添加如下配置信息

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
    

    之后选择etc/hadoop/hdfs-site.xml文件添加如下配置信息

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>
    

    5. 配置用户
    这个时候如果直接编译启动,大概率会报but there is no HDFS_NAMENODE_USER defined的错误,这个时候就要配置用户root信息。
    在etc/hadoop/sbin路径下:
    将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    start-yarn.sh,stop-yarn.sh顶部也需添加以下
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    这样我们的信息也就配置好了。
    6. 启动hadoop
    进入hadoop文件夹

    ./bin/hdfs namenode -format
    

    格式化文件。
    之后启动所有文件用start-all以及用jps查看已经启动的内容如下图所示。
    启动
    7. 查看Hadoop端口号,开启服务器端口
    图片
    从上面的图片看出我们找到进程对应的端口号,之后开启服务器上的规则端口再进行访问。至此hadoop就搭建成功了。
    在这里插入图片描述
    参考文献:
    官方文档说明
    集群搭建资料

    展开全文
  • 采用三台真实的部署在公网的服务器(系统为centos)搭建hadoop集群。(两台腾讯云,一台阿里云)包含jdk,hadoop的安装,配置环境变量,配置hadoop配置文件,初始化,启动。云服务器搭建hadoop集群。hadoop cluster ...
  • 1、创建一个名为hadoops的组 groupadd hadoops 查看所有组,新增组默认排在最后 cat /etc/group ...2、创建一个名为hadoop的用户,并归到...4、修改hadoop目录的归属用户为hadoop用户 chown -R hadoop:hadoop...
  • 分别在master及slave生成rsa密钥: mkdir ~/.ssh cd ~/.ssh ssh-keygen -t -rsa 一路回车(选择默认设置),此时,ssh文件夹中生成了id_rsa.pub和id_rsa两个,然后使用scp命令将公钥(id_rsa.pub)分别拷到...
  • Linux -创建hadoop用户

    千次阅读 2022-04-20 09:05:51
    1 新建用户 [root@hadoop101 ~]# sudo adduser hadoop [root@hadoop101 ~]# passwd hadoop Changing password for user hadoop. New password: Retype new password: ...在创建hadoop用户的同时也创建了
  • 搭建hadoop集群环境一:服务器基础环境准备
  • 本篇主要就hadoop服务器操作系统配置进行详细说明,hadoop安装会在下一篇文章中详细的介绍。 hadoop安装包用的是大快DKHadoop发行版,个人觉得DKHadoop的安装过程是比较简单,关于dkhadoop的安装在下一次的分享中再...
  • 1、前言在讲述Hadoop集群搭建之前,首先要了解Hadoop和集群两个名词,Hadoop是由Apache基金会开发的分布式系统基础架构,简单理解就是大数据技术应用的基础。集群可以理解为...
  • DSS部署-3、创建hadoop用户

    千次阅读 2022-03-05 08:25:17
    文章目录第三部分、创建hadoop用户 第三部分、创建hadoop用户 1、创建一个名字为hadoop的普通用户 [root@bigdata-senior01 ~]# useradd hadoop [root@bigdata-senior01 ~]# passwd hadoop 2、 给hadoop用户sudo权限...
  • 服务器hadoop搭建

    2018-09-03 14:52:12
    hadoop单机版搭建,即只有一台服务器hadoop环境,这里省去了集群的多台服务器配置 首先到hadoop的官网去下载hadoop,我这里使用的是2.9.0版本 下载完成后把hadoop解压到需要部署的目录 解压完成后进入...
  • 使用VMware模拟搭建完全分布式hadoop环境
  • ECS服务器搭建hadoop伪分布式

    千次阅读 多人点赞 2019-01-18 13:10:48
    1)阿里云ECS服务器Centos7.5 2)Xshell或者其他和Linux交互的软件(本文用的Bitvise SSH软件) 我用的是Bitvise SSH Bitvise SSH下载 Bitvise SSH使用 里面有讲SSH软件怎么用 3)最好会vim操作(不会也没问题...
  • hadoop详细视频教程

    2021-07-15 20:46:26
    50_hadoop2.x_广告推送用户轨迹01 51_hadoop2.x_广告推送用户轨迹02 52_hadoop2.x_广告推送用户轨迹03 53_hadoop2.x_广告推送用户轨迹04 54_hadoop2.x_广告推送用户轨迹05 55_hadoop2.x_广告推送用户轨迹06 56_hive_...
  • Hadoop3.x的伪分布式方法部署云集群
  • 这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与...【注意】主要记录自己在云端服务器搭建个人用hadoop集群过程 新的改变 我们对Markdo
  • 阿里云上Hadoop的安装

    千次阅读 2022-03-14 21:22:02
    1.创建新用户 useradd heipilei 2.heipilei用户下创建所需文件夹 mkdir sourcecode software app...4.将hadoop java 解压到 用户app下 tar -xzvf hadoop-3.1.3.tar.gz -C ../app/ tar -xzvf jdk-8u212-linux-x64.t
  • 服务器搭建hadoop时,启动后,无法通过8088端口,访问,首先查看我们ip端口是否启动,其次查看ip是否正确配置,最后,服务器有公网和私网的区分。 问题描述:ResourceManager开启但无法访问,jps没有显示...
  • hadoop集群服务器软硬件规划

    千次阅读 2018-04-11 11:47:26
    1、服务器:太贵:大型机、小型机(400W左右),一般起步公司假设年收2000W,硬件成本占1/4不太现实 2、PCServer:适合:最适合hadoop的支持廉价机器的,20-5W不等 3、云服务:小公司适用,但是如果数据增长过快...
  • 创建hadoop用户,并使用/bin/bash作为shell sudo useradd -m hadoop -s /bin/bash # 2. 为hadoop用户设置密码,密码输入两次 sudo passwd hadoop # 3. 为hadoop用户增加管理员权限,方便部署 sudo adduser ...
  • Hadoop是一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称
  • 启动Hadoop服务器 sbin/start-all.sh 浏览器访问 http:// hadoop-senior01.test.com:8088 Cluster Metrics:集群指标 apps(提交、排队、运行、完成) Containers:容器数 Memory:(使用的内存、总共内存、...
  • Hadoop集群搭建(三台Linux服务器

    千次阅读 2020-10-12 10:17:11
    安装Hadoop 环境: centos7 jdk8 Hadoop3.1.4
  • Hadoop部署

    千次阅读 2021-09-26 09:13:50
    1)查看虚拟网络编辑器 2)修改ip地址 3)查看网关 4)查看windows环境的中VMnet8网络配置 1.4、Linux主机名、IP配置 1.4.1、修改主机名 切换到root su root [root@localhost ~]# vi /etc/hostname 生效需要重启...
  • 一、 服务器规划 二、Hadoop集群环境的准备 搭建Hadoop集群环境之前,需要为搭建Hadoop集群环境做一些相关的准备工作,以达到正确安装...1.添加hadoop用户身份 以root身份登录每台虚拟机服务器,在每台服务器...
  • 三台阿里云服务器搭建Hadoop3集群

    千次阅读 2020-09-21 21:36:29
    搭建Hadoop集群的目的就是为了管理多台服务器,使多台服务器之间能够协调工作。本文选择了3台阿里云服务器。从下图中可以对整个大数据架构有了大体的了解。 Hadoop主要有HDFS(分布式文件存储系统)、Yarn(集群...
  • (2)上传JDK至服务器 a.下载WinSCP软件 b.建立linux与windows之间文件互传 (4)配置JAVA环境变量3.安装Hadoop (1)上传Hadoop安装包至Linux (3)配置Hadoop环境变量 2.搭建完全分布式模式Hadoop 1.克隆出三台虚拟机...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 100,369
精华内容 40,147
关键字:

服务器上查看hadoop用户