精华内容
参与话题
问答
  • hadoop集群配置中的优先级循序

    万次阅读 2019-10-24 00:18:40
    第一、代码中的优先级 第二、 maven项目的resource文件夹下的.xml配置文件 第三、服务器修改的配置 第四、默认的配置 ...代码修改配置示例 ...import org.apache.hadoop.conf....import org.apache.hadoop.fs.P...

    第一、代码中的优先级 

    第二、 maven项目的resource文件夹下的.xml配置文件

    第三、服务器修改的配置

    第四、默认的配置

     

    代码修改配置示例

    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.junit.Test;
    
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    public class HDFSClientTest {
        @Test
        public void copyFromLocal() throws URISyntaxException, IOException, InterruptedException {
            Configuration conf = new Configuration();
    
            conf.set("dfs.replication","2");//修改配置,设置副本数。
            FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop112:9000"), conf, "angel");
    
            fileSystem.copyFromLocalFile(new Path("/home/angel/software/apache-maven-3.6.2-bin.tar.gz"),new Path("/"));
    
            fileSystem.close();
        }
    
    }
    

    展开全文
  • hadoop集群搭建(超详细版)

    万次阅读 多人点赞 2018-05-03 12:09:13
    1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机,图形界面如下图 创建新的虚拟机,选择...设置虚...

    1.准备好需要安装的软件

    虚拟机VMware12.pro

    操作系统CentOS 6.5

    远程控制虚拟机的终端SecureCRT8.1

    2.在虚拟机中安装CentOS操作系统

    安装好虚拟机,图形界面如下图

    创建新的虚拟机,选择自定义(高级),点击下一步

    虚拟机硬件兼容性默认,浏览需要安装的CentOS6.5镜像文件

    自定义用户名和密码(用于登录)

    设置虚拟机名称和存储路径

    处理器设置默认(后面可以修改),内存设为1GB

    网络类型选择NAT模式

    选择创建新虚拟磁盘

    最大磁盘大小设为20GB,然后将虚拟磁盘存储为单个文件

    将创建好的磁盘文件存储在虚拟机指定目录下

    虚拟机创建完成

    3. 虚拟网络配置

    编辑虚拟网络设置,选择NAT模式

    点击NAT设置,查看网络信息(后面设置ip会用到)

    查看主机ip地址

    修改网络配置文件,将BOOTPROTO值修改为”static”

    重启网络服务network

    再次查看主机ip

    4. 更改主机名称

    修改主机名文件(重启永久生效)

    查看主机名hostname(文件修改后没有重启主机名没有生效,可以用hostname临时生效)

    复制master文件两次,重命名为slave1和slave2,打开虚拟机文件,然后按照同样的方法设置两个节点的ip和主机名

    5.建立主机名和ip的映射

    查看是否能ping通

    6.配置ssh免密码登录

    在root用户下输入ssh-keygen -t rsa 一路回车

    秘钥生成后在~/.ssh/目录下,有两个文件id_rsa(私钥)和id_rsa.pub(公钥),将公钥复制到authorized_keys并赋予authorized_keys600权限

    同理在slave1和slave2节点上进行相同的操作,然后将公钥复制到master节点上的authoized_keys

    将master节点上的authoized_keys远程传输到slave1和slave2的~/.ssh/目录下

    检查是否免密登录(第一次登录会有提示)

    7.关闭防火墙

    关闭selinux(永久)

    8.安装JDK

    三个节点安装java并配置java环境变量

    解压压缩包

    在/etc/profile文件里添加jdk路径

    执行命令source /etc/profile使配置文件生效,并查看java版本信息

    9.安装MySQL(主节点)

    查询系统已安装的mysql

    彻底卸载mysql及其所依赖的包

    解压MySQL包

    安装MySQL有关的三个rpm包,分别为server、client和devel包

    启动mysql /usr/bin/mysqld_safe --skip-grant-tables & 并登陆mysql数据库

    查看mysql中的数据库

    10.安装SecureCRT

    操作比较简单,安装好的图形界面如图

    连接好之后

    12.搭建集群

    12.1 集群结构

    三个结点:一个主节点master两个从节点 内存1GB 磁盘20GB

     

     

    Ip地址

    主机名

    Namenode

    Secondary namenode

    Datanode

    Resource

    Manager

    NodeManager

    192.168.63.16

    master

    Y

    Y

    N

    Y

    N

    192.168.63.17

    slave1

    N

    N

    Y

    N

    Y

    192.168.63.18

    slave2

    N

    N

    Y

    N

    Y

     

    12.2 新建hadoop用户及其用户组

    用adduser新建用户并设置密码

     

    将新建的hadoop用户添加到hadoop用户组

    前面hadoop指的是用户组名,后一个指的是用户名

    赋予hadoop用户root权限

    12.3 安装hadoop并配置环境变量

    由于hadoop集群需要在每一个节点上进行相同的配置,因此先在master节点上配置,然后再复制到其他节点上即可。

    将hadoop包放在/usr/目录下并解压

    配置环境变量

    在/etc/profile文件中添加如下命令

    12.4 搭建集群的准备工作

    在master节点上创建以下文件夹

    /usr/hadoop-2.6.5/dfs/name

    /usr/hadoop-2.6.5/dfs/data

    /usr/hadoop-2.6.5/temp

     

    12.5 配置hadoop文件

    接下来配置/usr/hadoop-2.6.5/etc//hadoop/目录下的七个文件

    slaves    core-site.xml    hdfs-site.xml     mapred-site.xml     yarn-site.xml     hadoop-env.sh   yarn-env.sh

    配置hadoop-env.sh

    配置yarn-env.sh

    配置slaves文件,删除localhost

    配置core-site.xml

     

    配置hdfs-site.xml

     

    配置mapred-site.xml

     

    配置yarn-site.xml

     

    将配置好的hadoop文件复制到其他节点上

    12.6 运行hadoop

    格式化Namenode

    source /etc/profile

    13. 启动集群

    [root@master sbin]# ./start-all.sh

     

     

    展开全文
  • 对安装好的hadoop集群做个测试

    万次阅读 2019-08-17 21:51:56
    2,查看hdfs文件路径下的文件,发现hdfs文件不存在,新建hdfs文件目录 bin/hadoop fs -mkdir -p /user/root/ 3,将文件拷贝到hdfs下 ./bin/hadoop fs -put ../input/ in 4,删除hdfs文件目录 ./bin/ha...

    1,新建两个txt文件  往里面写入文本内容

    2,查看hdfs文件路径下的文件,发现hdfs文件不存在,新建hdfs文件目录           bin/hadoop fs -mkdir -p /user/root/

    3,将文件拷贝到hdfs下         ./bin/hadoop fs -put ../input/ in

     

    4,删除hdfs文件目录   ./bin/hadoop fs -rm -r input

     

     

     

    5,执行wordcount程序  ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount in out

     

       执行map过程  map结束

     reduce结束

     

    6,查看hdfs文件目录  ./bin/hadoop  fs -ls            ./bin/hadoop  fs -ls ./in             ./bin/hadoop  fs -ls  ./out

     

     

     

    7,查看hdfs文件目录文件内容。 ./bin/hadoop fs -cat ./in/test1.txt     ./bin/hadoop fs -cat ./in/test2.txt

     

    8,统计wordcount程序输出结果

     

    展开全文
  • 需要注意的地方: (1)修改C:\Windows\System32\drivers\etc\hosts文件: ...(2)hadoop集群的配置出了常规的,在hdfs-site.xml中添加一个property: dfs.permissions false (3)编写的java文件要编译成.

    需要注意的地方:

    (1)修改C:\Windows\System32\drivers\etc\hosts文件:

    在最后添加一行 192.168.128.138 hadoop ,(这个视具体情况而定);

    (2)hadoop集群的配置出了常规的,在hdfs-site.xml中添加一个property:

    <property>
    <name>dfs.permissions</name>
    <value>false</value>
    </property>

    (3)编写的java文件要编译成.class文件并打包放入HADOOP_HOME/lib下面;

    (4)编写的主函数加上一句:

    conf.set("mapred.job.tracker", "192.168.128.138:9001");

    这个可以为网页版调用hadoop集群做准备;

    展开全文
  • Hadoop集群搭建教程(详细)

    万次阅读 多人点赞 2018-05-24 00:12:41
    需要的安装包: 1.jdk压缩包 2.hadoop压缩包请前往我的github上下载相关安装包开始搭建hadoop集群一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.04版本的因为默认的虚拟机主机名都是ubuntu,所以为了便于...
  • 虚拟机搭建hadoop集群

    千次阅读 多人点赞 2013-11-30 11:55:57
    小侯Hadoop 学习笔记之 虚拟机搭建hadoop集群 1.虚拟机安装系统(个人安装系统是centos 6.x final版) 1.在虚拟机安装了三个系统(centos 6.x final版的)目前两个都是安装的,一个是在文件复制的。 2. 安装完系统后...
  • 阿里云ECS搭建Hadoop集群环境——启动时报错“java.net.BindException: Cannot assign requested address”问题的解决 阿里云ECS搭建Hadoop集群环境——计算时出现“java.lang.IllegalArgumentException: java.net....
  • 搭建了一个hadoop集群,用hdfs dfs -ls /命令,列出的是本地系统的根目录。 用hdfs dfs -ls hdfs://servicename/ 列出的目录才是hdfs上的目录,可能是什么原因? 执行hive创建的目录也是在本地系统目录上。 集群的...
  • 利用ubuntu搭建高可用的hadoop集群系列之五——hadoop集群搭建 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed ...
  • Hadoop 集群群起

    万次阅读 2019-03-31 12:09:00
    文章目录配置 slaves启动 HDFS...hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 配置 slaves /...
  • Hadoop 集群配置

    万次阅读 2019-03-31 11:51:12
    文章目录集群部署规划配置核心配置文件hdfs 配置文件hadoop-env.shhdfs-site.xmlyarn 配置文件yarn-env.shyarn-site.xmlmapreduce 配置文件mapred-env.shmapred-site.xml分发配置 集群部署规划 hadoop102 ...
  • Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

    万次阅读 多人点赞 2017-05-11 23:13:17
    Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) 版本:CentOS7 Hadoop2.8.0 JDK1.8
  • HADOOP集群主机上运行HADOOP相关命令回车后响应慢,如集群主机上输入hive\hbase shell或者hdfs dfs -ls / 回车后终端响应非常慢,至少10秒上才出来 Logging initialized using configuration in jar:file:/opt/...
  • Hadoop集群运维

    千次阅读 2019-06-06 12:15:02
    集群故障模拟 场景1:namenode节点故障,active namenode节点状态切换?如何恢复? 1.1 Hadoop HA 的namenode状态切换...测试步骤:把standby namenode进程kill掉,active节点服务正常,不影响hadoop集群服务,数据...
  • Hadoop集群初体验

    千次阅读 2020-10-07 08:17:13
    数据的上传 创建文件夹:hadoop fs -mkdir /BD19 查看文件夹内容: hadoop fs -ls /BD19 ...hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/ hadoop-mapreduce-examples-2.6.0-cdh5.1
  • hadoop集群间数据迁移

    2015-01-09 07:53:46
    bin/hadoop distcp hftp://master:50070/user/wp hdfs://ns...hadoop集群间数据迁移org.apache.hadoop.tools.mapred.RetriableFileCopyCommand$CopyReadException: java.net.SocketTimeoutException: connect timed out
  • Hadoop集群安装部署

    千次阅读 2020-10-06 20:58:44
    hadoop集群安装部署 1、服务器主机名和IP配置(三台) 2、修改每个主机的/etc/hosts文件,添加IP和主机名的对应关系(三台) 3、管理节点到从节点配置无密码登录 4、配置jdk 1.8(三台) 5、关闭防火墙(三台) 6、...
  • Hadoop 集群时间同步

    万次阅读 2019-03-31 13:02:16
    找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时 的同步,比如,每隔十分钟,同步一次时间。 时间服务器配置 必须 root 用户!!! 检查 ntp 是否安装 [root@hadoop102 hadoop]#...
  • hadoop集群搭建 阅读目录 一、准备工作: 二、搭建Hadoop集群: 回到顶部 一、准备工作: 1、环境:CentOS6.4-64bit JDK1.7-64bit  基于虚拟机拷贝4个虚拟机,一个作为Master,另外三个作为Slave,在这拷贝...
  • hadoop集群搭建 阅读目录 一、准备工作: 二、搭建Hadoop集群: 回到顶部 一、准备工作: 1、环境:CentOS6.4-64bit JDK1.7-64bit  基于虚拟机拷贝4个虚拟机,一个作为Master,另外三个作为Slave,在这拷贝...
  • window下连接hadoop集群报错,已经把hadoop.dll放在window下的hadoop的bin目录了,system32也放了,还是无效,请问怎么办??![图片说明](https://img-ask.csdn.net/upload/201508/31/1441030623_267379.png)
  • Kettle 7.1 连接Hadoop集群

    千次阅读 2018-10-10 17:51:41
    设置Hadoop环境 在Tools -&gt; Hadoop Distribution 中选择 “HortonWorks HDP 2.5.x”。 复制core-site.xml文件 复制 Hadoop 环境下的的 core-site.xml 文件到 kettle 安装目录下的 “plugins/pentaho-big-data...
  • Hadoop集群运行JNI程序

    千次阅读 2013-07-27 00:02:00
    要在Hadoop集群运行上运行JNI程序,首先要在单机上调试程序直到可以正确运行JNI程序,之后移植到Hadoop集群就是水到渠成的事情。 Hadoop运行程序的方式是通过jar包,所以我们需要将所有的class文件打包成jar包。在...
  • 从零搭建 Hadoop 集群

    2018-12-09 23:30:16
    随着 Hadoop 的落地普及和大数据的发展,越来越多的公司和工程师开始关注 Hadoop 以及搭建大数据集群,想不想在公司寻找搭建 Hadoop 人才时脱颖而出,就算是菜鸟,就算一点不了解 Hadoop,也能让你完美从 0 入门,对...
  • Hadoop集群安装配置实验

    千次阅读 2016-02-17 17:12:45
    一、环境 四台 VirtualBox上的Linux虚机,每台硬盘20G,内存768M。 IP与主机名: 192.168.56.101 master 192.168.56.102 slave1 ...192.168.56.103 slave2 ...192.168.56.101做master,运行NameNode和ResourceManag
  • 操作Hadoop集群

    万次阅读 2017-08-12 13:35:08
    操作Hadoop集群 所有必要的配置完成后,将文件分发到所有机器上的HADOOP_CONF_DIR目录。这应该是所有机器上相同的目录。 一般来说,建议HDFS和YARN作为单独的用户运行。在大多数安装中,HDFS进程作为“hdfs”执行。...
  • hadoop集群lzo的安装

    千次阅读 2012-01-05 23:01:01
    主要步骤: 1,安装和更新gcc、ant(系统已经安装的话,略去下面步骤) yum -y install gcc gcc-c++ autoconf automake wget ... tar -jxvf apache-ant-1.8.2-
  • HDInsight如何创建Hadoop集群

    千次阅读 2014-12-15 17:46:20
    HDInsight如何创建Hadoop集群 带大家一起看下微软Azure云中的Hadoop集群创建,首先你必须先创建个存储账号,然后新建Hadoop集群,等待21分钟左右,一个Hadoop集群就创建完成了,看图:

空空如也

1 2 3 4 5 ... 20
收藏数 62,224
精华内容 24,889
关键字:

hadoop集群