精华内容
下载资源
问答
  • idea远程连接hadoop并进行文件操作

    千次阅读 2019-07-30 13:17:12
    idea远程连接hadoop 部署完高可用集群之后,尝试idea远程连接hadoop进行操作 配置windows中的hadoop环境 ...创建HADOOP_USER_NAME,名称为集群中的登录名称 在系统变量的Path中添加%HADOOP_HOME%/bi...

    idea远程连接hadoop

    部署完高可用集群之后,尝试idea远程连接hadoop进行操作

    配置windows中的hadoop环境

    • 下载hadoop2.6.5到windows中并放在一个纯英文目录下

    • 配置环境变量,先系统变量中创建HADOOP_HOME

    在这里插入图片描述

    • 创建HADOOP_USER_NAME,名称为集群中的登录名称

      在这里插入图片描述

    • 在系统变量的Path中添加%HADOOP_HOME%/bin

    • 将hadoop.dll添加到C:\Windows\System32文件夹下

    • 在命令行中输入hdfs和hadoop,检测是否安装成功

      在这里插入图片描述

    在idea中配置hadoop

    在这里插入图片描述

    • 重启idea,菜单栏中会出现hadoop选项

    连接hadoop,进行文件操作

    • 首先开启集群,先zkServer.sh start开启zookeeper,再start-dfs.sh开启全部节点,在配置节点前首先进入node01:50070查看node01和node02的状态。

    • 点击idea上方菜单栏中的hadoop进入设置

    在这里插入图片描述

    • 确定之后左边会出现hadoop

    在这里插入图片描述

    • 进行文件操作,代码具体如下,可用junit进行调试,并在hadoop插件中查看hdfs文件系统

      package com.sxt.hdfs.test;
      
      import org.apache.hadoop.conf.Configuration;
      import org.apache.hadoop.conf.Configured;
      import org.apache.hadoop.fs.*;
      import org.apache.hadoop.io.IOUtils;
      import org.junit.After;
      import org.junit.Before;
      import org.junit.Test;
      
      import java.io.BufferedInputStream;
      import java.io.FileInputStream;
      import java.io.IOException;
      import java.io.InputStream;
      /**
       * \* Project: hadoop
       * \* Package: com.sxt.hdfs.test
       * \* Author: Hoodie_Willi
       * \* Date: 2019-07-29 20:36:22
       * \* Description:
       * \
       */
      public class test {
          Configuration conf = null;
          FileSystem fs = null;
          @Before
          public void conn() throws IOException {
              conf = new Configuration();
              fs = FileSystem.get(conf);
              //System.out.println("success");
          }
          @Test
          public void mkdir() throws IOException {
              Path path = new Path("/mytemp");
              if (fs.exists(path)){
                  fs.delete(path);
              }
              fs.mkdirs(path);
          }
          @Test
          public void uploadFile() throws IOException{
              //文件上传路径
              Path path = new Path("/mytemp/haha.txt");
              FSDataOutputStream fdos = fs.create(path);
              //获取磁盘文件
              InputStream is = new BufferedInputStream(new FileInputStream("D:\\IdeaProject\\hadoop\\src\\files\\hello.txt"));
              IOUtils.copyBytes(is, fdos, conf, true);
          }
          @Test
          public void readFile() throws IOException{
              Path f = new Path("/user/root/test.txt");
              FileStatus file = fs.getFileStatus(f);
      //        BlockLocation[] blks = fs.getFileBlockLocations(file,0, file.getLen());
      //        for (BlockLocation blk : blks){
      //            System.out.println(blk);
      //        }
              //读取文件
              FSDataInputStream fdis = fs.open(f); // fileinputstream
              fdis.seek(1048576);
              System.out.println((char) fdis.readByte());
              System.out.println((char) fdis.readByte());
              System.out.println((char) fdis.readByte());
              System.out.println((char) fdis.readByte());
              System.out.println((char) fdis.readByte());
          }
          //@After
          public void close() throws IOException{
              fs.close();
          }
      }
      
    展开全文
  • 配置远程登录 1) 在自己的linux机上搭好hadoop,详细过程请参考:http://www.cnblogs.com/stardjyeah/p/4641554.html 2) 修改linux的hosts文件 # vim /etc/hosts 在hosts文件的最下面一行添加,格式为: 第一...

    配置远程登录

    1)         在自己的linux机上搭好hadoop,详细过程请参考:http://www.cnblogs.com/stardjyeah/p/4641554.html

    2)         修改linux的hosts文件

    # vim /etc/hosts

    在hosts文件的最下面一行添加,格式为:

    第一部份:网络IP地址。

    第二部份:主机名.域名,注意主机名和域名之间有个半角的点。

    第二部份:主机名(主机名别名) ,其实就是主机名。

    比如:192.168.1.109 hadoop-master.localdomain hadoop-master

    当然每行也可以是两部份,就是主机IP地址和主机名;

    比如:192.168.1.109 hadoop-master

    3)         修改hadoop下的core-site.xml,yarn-site.xml,mapred-site.xml,hdfs-site.xml

    将里面的所有localhost全部改成hadoop-master

    4)         重启linux系统,然后打开所有hdfs和yarn的进程,在另一台机器的浏览器上输入192.168.1.109:8088 192.168.1.109:50070 192.168.1.109:50090看是否能得到对应的页面(PS:正确页面在hadoop的安装配置一文中有),如果有,在进入cmd用telnet指令去联通以上三个端口,如果都没问题,则表示配置成功。

    5)         如果以上4步都通过了,那么恭喜啦,你就可以开始远程登陆你的hadoop了,可以用secureCRT来仿真终端,可以用FileZilla来进行文件传输等等。

    配置远程调试

    1.首先准备好一个hadoop2.x的eclipse插件,具体步骤请参考:http://blog.csdn.net/qingmu0803/article/details/39665147,这个博主用的是eclipse  Kepler,而我用的是myeclipse 10,其插件同样可用。

    2.将hadoop解压到对应的目录下,并配置好hadoop_home和path(类似jdk的配置),替换hadoop根目录下的bin文件夹(用来替换的bin文件夹下载链接:http://pan.baidu.com/s/1sjupu3N)然后在cmd中输入hadoop如有以下显示,则表示成功

    3.可能会出的错误

    在运行的调试过程中有可能会报如下错误:

    org.apache.hadoop.io.nativeio.NativeIO$Windows. access(NativeIO.java:557)

    这应该是hadoop的一个bug,我们先来看看源码

    如果在替换过本地的hadoop/bin文件夹后还报这个错,那我们只能修改源码的,即将图中红框部分注释掉,改成return true,并在project根目录下创建下图所示的包,并将修改后的类文件考进去

    这个文件我已经改过了,下载链接为:http://pan.baidu.com/s/18Xdgi

    4.正式进入调试阶段

    远程调试hadoop-HDFS demo:

    http://www.cnblogs.com/stardjyeah/p/4643618.html

    远程调试hadoop-mapreduce demo:

    http://www.cnblogs.com/stardjyeah/p/4643628.html

    转载于:https://www.cnblogs.com/stardjyeah/p/4643639.html

    展开全文
  • 下面在一台新的虚拟机上操作ssh远程登录不用密码 1.网络设置 输入命令vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 进去设置 2.修改配置 BOOTPROTO=static ONBOOT=yes 增加ip地址 IPADDR=192.168.56.xxx(xxx...

    下面在一台新的虚拟机上操作ssh远程登录不用密码
    1.网络设置

    输入命令vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
    

    进去设置
    2.修改配置

    BOOTPROTO=static
    ONBOOT=yes
    

    增加ip地址
    IPADDR=192.168.56.xxx(xxx最好大于100)
    在这里插入图片描述
    3.保存退出
    用esc键退出
    :(符号输入)+ wq(保存退出)
    4.修改用户名
    在这里插入图片描述
    5.重启网络

    systemctl restart network
    

    6.测试网络链接
    输入百度的网址测一下ping值

    ping www.baidu.com
    

    在这里插入图片描述
    ping通直接Crtl c退出

    7.ssh 远程登录 不用密码设置方法
    在这里插入图片描述
    进入ssh
    在这里插入图片描述
    加入授权
    在这里插入图片描述
    修改文件权限,如果不修改文件权限,那么其它用户就能查看该授权
    在这里插入图片描述
    配置环境变量
    在这里插入图片描述在这里插入图片描述
    我们直接ssh zll进入用户
    在这里插入图片描述
    然后 exit 退出
    重新ssh zll进入(这时进入就是免密登录了)
    在这里插入图片描述
    8.关闭和禁用防火墙

    systemctl stop firewalld
    systemctl disable firewalld
    

    在这里插入图片描述
    在这里插入图片描述
    ssh 远程登录 不用密码设置方法全部完成,我们就可以愉快的玩耍了

    展开全文
  • Hadoop2.4.1学习笔记(一)之ssh远程登录原理  应用情景描述:当启动Hadoop时,每当启动一次Hadoop时,就会启动一个进程,登录一台Linux虚拟机,当多个节点时,为了避免多次输入密码,可以选用ssh远程登录。来实现...

                                                                                          Hadoop2.4.1学习笔记(一)之ssh远程登录原理与hdfs的shell操作

    1.  应用情景描述:当启动Hadoop时,每当启动一次Hadoop时,就会启动一个进程,登录一台Linux虚拟机,当多个节点时,为了避免多次输入密码,可以选用ssh远程登录。来实现在一台虚拟机上即可登录其他的虚拟机。

      具体的设置:

         1.使用终端登陆,使用命令: sudo vi /etc/hosts, 添加需要远程登录的用户的ip地址和主机名。

         2.设置完成之后,使用命令:wq 将添加的保存下来。

         3.使用ping命令,查看是否能ping通将要登陆的主机,若能ping通则能登陆成功,若ping不通则不会登陆成功。

         4.使用命令:ssh 用户名@主机名  提示信息输入:yes  输入用户密码。登陆成功验证的方法是我们的主机名修改。

           退出使用命令:exit

         5.当前用户使用ssh远程登录时,可以发一条指令给要登录的主机,比如:用当前用户,远程登陆并发送一条创建文件夹的指令:ssh XXX(主机名) mkdir 文件路径


    2.hdfs的shell操作:

         hadoop fs -ls / 是查看hadoop工程下所有文件的指令

         hadoop fs        是文件系统的操作,可以查看对文件系统的操作

        hadoop fs -cat 是显示文本文件的内容

        hadoop fs -chown 是改变文件的所有者

        hadoop fs -chgrp 是改变文件的分组

       hadoop fs -chmod 是改变文件的权限

      注意:此处的区别: hadoop fs -chown 所有者:所在组名 文件路径 修改文件的所有者和所在组   此处对于Linux本地文件系统的指令是不行的,但是在hdfs文件系统是可以的。

       hadoop fs -copyFromLocal 本地文件路径 hdfs文件路径  是从将本地文件拷贝到hdfs文件系统下。此条命令等价于 -put  命令   

       hadoop fs -copyToLocal hdfs文件路径 本地文件路径  是从将hdfs文件拷贝到本地文件系统下。此条命令等价于 -get 命令  

        hadoop fs -moveToLocal hdfs文件路径 本地文件路径  是从将hdfs文件拷贝到本地文件系统下。

        hadoop fs -moveFromLocal 本地文件路径 hdfs文件路径  是从将本地文件移动到hdfs文件系统下。

       hadoop fs -cp 源文件路径 目标文件路径 是在hdfs文件系统下拷贝文件

       hadoop fs -df  hdfs文件路径 是查看当前所指文件路径下的磁盘大小和占用率 比如: hadoop fs -df /   该指令是查看根目录的大小和占用率

       hadoop fs -rm 是删除文件 hadoop fs -rm -r 是删除文件夹 hadoop fs -rmdir 是删除空文件夹

    从上面的指令中可以看到,在Linux系统指令中一定要区分本地文件系统和hdfs文件系统,对hdfs文件系统的操作hadoop fs -  是对hdfs文件系统操作的标志。对于指令的含义是类似的。





    展开全文
  • 1.ssh远程登陆 2.ssh实现免密登录 2.1原理 2.2操作
  • SSH原理:【Hadoop系列】linux SSH...linux下 非root用户免密码登录远程主机 ssh请转至此链接:XXXXXXXXXXXXXXXX(暂未写好) 一、远程主机B和用户A都安装openssh 首先我们检查远程主机是否安装openshh和rsync r...
  • 目录: Host 'shizhan04' is not allowed to connect to this MySQL server问题,及解决方案 Access denied for user 'root'@'localhost' (using password: YES) 问题,及解决方案 1.问题: "...
  • 2-文件传输–主机与Redhat能够传输文件(hadoop的搭建需要上传hadoop和jdk的压缩文件): 确保主机能够ping通Redhat。 在主机使用远程传输软件WinSCP( 点击下载 ),WinSCP配置示例: 主机名填写Redhat的IP地址...
  • hadoop中每次开启节点要输入5次密码,这是一件很麻烦的事,下面就来设置无密开启节点。 首先先修改下主机名,方便记忆和使用,取自己好记的名字xxx hostnamectl set hostname xxx 添加主机地址 vi /etc/hosts...
  • 二、Ubuntu 18.04 远程允许root登录 1. 查看ssh服务器是否安装并启动 #sudo ps -e | grep ssh 1. 安装ssh服务器 #sudo apt-get install openssh-server 2. 配置sshd文件 #sudo vi /etc/ssh/sshd_config ...
  • 现在我们通过配置SSH来实现,主机之间的免密码登录 可以看到hadoop的官网上也写了,ssh是必须装的软件 ...安装以后,比如这里我们在hadoop102上,我们通过 ssh hadoop103 登录103这个机器 ...
  • 1.讲hadoop-001的公钥远程拷贝到hadoop-003 scp id_rsa.pub hadoop-003:/home/hadoop   2. 切换到hadoop-003,追加hadoop-001的公钥到authorized_keys中 cat ../id_rsa.pub >> ./authorized_ke.....
  • hadoop设置免密登录

    千次阅读 2018-07-15 23:45:31
    免密: 创建.ssh文件,登录自己 进入 .ssh文件 创建密钥和公钥 分发 生成自己的密钥和公钥 ... ssh-keygen -t rsa -P '' -f ./id_rsa ...远程拷贝node01的authorized_keys ,就可以实现其他的也登录n...
  • hadoop集群的免密登录

    2020-06-16 22:42:15
    ssh(Secure Shell)免密登录 ssh是群起集群时候需要依赖 的 以非对称加密实现身份验证(A.B成对出现)用A加密必须用B解密 公钥给远程中心 私钥给自己 先102到103ssh-keygen -t rsa id_rsa私钥 id_rsa.pub公钥 known...
  • 1.安装ssh  输入命令: which ssh  会发现Ubuntu已经自带了ssh,但是这个是不行的,我们还是要从新下载的。...ssh :SSH是一种网络协议,用于计算机之间的加密登录........访问的一个加密 ,  会...
  • 先决条件:本文默认hadoop安装成功。若未安装可参考: http://dblab.xmu.edu.cn/blog/install-hadoop/ ... 1.登录阿里云控制台,修改安全组,修改完毕后重启阿里云 ...
  • hadoopSSH无密码登录

    2016-02-20 10:19:54
    对于需要远程管理其它机器,一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密,存在不安全因素,只适合内网访问。为解决这个问题,推出了通信加密通信协议,即SSH(Secure Shell)...
  • Hadoop集群免密码登录实验 实验目的: (1)静态网络地址的配置; (2)主机名的配置; (3)防火墙的配置; (4)主机地址映射的配置; (5)免密码登录的配置。 实验要求: (1) 完成静态网络地址的配置,所有主机的网络能够...
  • hadoop linux集群设置 详细步骤:参考文章 ...环境安装好之后可以登录网站查看: 集群情况:http://192.168.37.207:9870/dfshealth.html#tab-overview yarn节点情况:http://192.168.37.207:8088/clust...
  • 集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),一般情况下,CentOS 默认已安装了 SSH client、SSH server。 执行如下命令测试一下 SSH 是否可用:ssh ...
  • 首先我们先来认识一下jsch: JSch 是SSH2的一个纯Java实现。...它实际上就是一个ssh的远程登录,我们可以利用jsch来向某一个系统传递命令,这一优良特性可以让我们完成很多事情。 下面介绍一下jsch的实现
  • 对于需要远程管理其它机器,一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密,存在不安全因素,只适合内网访问。为解决这个问题,推出了通信加密通信协议,即SSH(Secure Shell)...
  • Hadoop应用

    2017-08-10 16:42:12
    在大数据火热的今天,hadoop的应用越来越广泛,它是一种分析和处理大数据的软件平台,在...配置远程登录 安装jdk 安装Hado 应用 Hadoop简介 Hadoop是一个开源分布式加算平台框架,基于apache协议发布,由jav
  • 对于需要远程管理其它机器,一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密,存在不安全因素,只适合内网访问。为 解决这个问题,推出了通信加密通信协议,即SSH(Secure Shell...
  • java远程登录hdfs

    2019-06-17 21:44:59
    有时候,可能需要通过远程操作hdfs,比如在本地操作云服务器上的hdfs。 step 1: 将云服务上的hadoop环境中的jar下载到本地,一般的路径是:hadoop/share/hadoop. 这里我将hadoop安装在了/usr/local,所以完整路径是/...
  • SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。简单来说ssh是一种加密的用于远程登录的协议。 SSH加密的方式 对称加密 假如...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 423
精华内容 169
关键字:

远程登录hadoop