精华内容
参与话题
问答
  • 史上最全cdh安装详细教程

    万次阅读 2019-01-27 21:17:25
    此篇文章主要介绍了CDH在centos 6.x下的安装,在centos 7 版本中的安装以后会推出. 这篇文档将着重介绍Cloudera管理器域CDH安装,并基于以下假设: >>操作系统版本: centos 6.8 >>...

    此篇文章主要介绍了CDH在centos 6.x下的安装,在centos 7 版本中的安装以后会推出.

    这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设:

    >>操作系统版本: centos 6.8

    >>MySQL数据库版本: 5.6.24

    >>CM版本: CM  5.12.1

    >>CDH版本: CDH 5.12.1

    >>采用root对集群进行部署

     

    1、准备工作:

       0)新建centos 6.x虚拟机,然后克隆3台(需要完整克隆,具体如何克隆,自行百度,这里不做过多说明)

           以3台克隆机器中的其中一台为例,进行网络的配置

           1> vi /etc/udev/rules.d/70-persistent-net.rules 

                敲dd将含有eth0的一行删除,并使用shift+$跳到文章末尾,将eth1改为eth0

           2> 并复制ATTR中的引号中的内容

           3> 保存退出后,vi /etc/sysconfig/network-scripts/ifcfg-eth0,将刚刚复制的内容粘贴到此文件下的HWADDR(先把之前的删除),并且

    按照图中的内容进行添加或者修改,ONBOOT=yes,表示开机自启动,需要改为yes,BOOTPROTO这个主要是网络配置模式的修改,如果新安装的虚拟机默认是dhcp,表示动态获取ip,这对于后面配置集群是非常麻烦的,所以我们需要将其修改为static或者none都是表示配置静态ip模式,并且添加IPADDR,这个我们可以自己配置ip地址.

     

    然后使用service network restart 重启下网络,然后使用ifconfig或者ip a 查看ip是否修改成功.如果出现下图错误,那么使用reboot重启虚拟机,便可解决此问题

     

    另外两台克隆的虚拟机按照以上操作做一次.

       1)关闭防火墙(3台克隆机同时操作)
             临时关闭:

                   service iptables stop

            永久关闭:

                   chkconfig iptables off

       1.5)关闭Selinux

             临时关闭

                   setenforce 0

             修改配置文件/etc/selinux/config(重启生效)

                  将SELINUX=enforcing 改为SELINUX=disabled

                     sed -i 's#enforcing#disabled#g' /etc/selinux/config 

     

       2)设置主机名(每台克隆机,设置不通的主机名)

                  vi /etc/sysconfig/network    根据自己的配置修改hostname,这个需要重启虚拟机才会生效

               

       3)配置DNS(3台克隆机同时操作)

                 vi /etc/resolv.conf  添加:nameserver 8.8.8.8 或者nameserver 网关地址 

                然后ping baidu.com  看是否有回应

               
     

    如果在这个地方,出现了宿主机ping不通虚拟机,或者虚拟机ping不通宿主机,请自行百度吧,这里我也不想做过多描述.如果实在有问题加最下面的qq群寻求答案吧.

       4)配置host文件(3台克隆机同时操作)

              vi /etc/hosts   根据自己的ip 进行相应配置

             

      配置完之后,可以在同一台机器上ping 不同的域名,查看是否有响应.

    表明配置成功

     

    为了以后,我们使用谷歌或者其他浏览器访问域名也可以,那么我们需要对windows中的hosts文件进行配置

    打开C:\Windows\System32\drivers\etc下的hosts文件,进行相应的配置

      

      5)更新yum源(使用阿里云镜像源)

        第一步:备份你的原镜像文件,以免出错后可以恢复

           mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

       第二步:下载新的CentOS-Base.repo 到/etc/yum.repos.d/

          wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

       第三步:清空yum缓存

            yum clean all

        第四步:生成缓存

             yum makecache  

     

       6) 安装JDK(3台克隆机同时操作)

           1>卸载现有JDK

             查询是否安装Java软件:

                   rpm -qa | grep java

            如果安装的版本低于1.7,卸载该JDK:

                    rpm -e 软件包

             查看JDK安装路径:

                   which java

          2>创建两个目录,主要是存放tar包

                mkdir /opt/module

                mkdir /opt/software

          3> 将jdk-8u144-linux-x64.tar.gz上传至/opt/software,关于上传有两种方法,一种是使用yum install lrzsz -y或者windows下载WinSCP软件,之前做过测试,WinSCP上传下载的速度大约是rzsz的十倍左右.各有利弊,如果使用rzsz,可以直接将上传的资料直接拖到远程连接工具就可以,非常方便,下载的话直接使用   sz 需要下载的文件   就可以了 

           4>解压JDK

                tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

           5> 配置JDK环境变量     

               (1)先获取JDK路径

                      #  pwd

                         /opt/module/jdk1.8.0_144

               (2)打开/etc/profile文件

                         vi /etc/profile   在profile文件末尾添加JDK路径

                          #JAVA_HOME

                          export JAVA_HOME=/opt/module/jdk1.8.0_144

                          export PATH=$PATH:$JAVA_HOME/bin

                (3)保存后退出

                       :wq

                 (4)让修改后的文件生效

                            source /etc/profile

                6> 测试JDK是否安装成功

                       java -version

            

    出现上图所示,则表示JDK配置成功

     

        7)配置免密登陆 (只在CDH101上操作)

            cd ~

           1>生成公钥和私钥

                ssh-keygen -t rsa  一路回车就好

            2> 将公钥拷贝到要免密登录的目标机器上

                ssh-copy-id  CDH101

                ssh-copy-id  CDH102

                ssh-copy-id  CDH103

     

           8)在CDH101上安装mysql,配置相应的用户权限(也可以使用yum安装mysql)

                  1>查看mysql是否安装,如果安装了,卸载mysql

                           rpm -qa|grep mysql

                           rpm -e --nodeps  xx

                  2>安装mysql服务端

                          rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

                   3>查看产生的随机密码

                        cat /root/.mysql_secret   找个位置复制,为下面修改mysql密码做准备

                  4>查看mysql状态并启动mysql

                        service mysql status

                        service mysql start

                   5>安装mysql客户端

                       rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

                    6>链接mysql,并修改密码

                           mysql -uroot -ptxj5IaUyV2Pw1tI5

                           SET PASSWORD=PASSWORD('000000');

                     7)退出mysql,使用修改后的密码重新登录mysql,并做相关操作

                         登录mysql  

                             mysql -uroot -p000000

                          使用mysql数据库

                             use mysql;
                       查询user表

                            select User,Host,Password from user;

                      

                      修改user表,把Host表内容修改为%

                             update user set host='%' where host='localhost';

                       删除root用户的其他host

                          

                       刷新权限并退出

                          

     

             9)下载第三方依赖

                  yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

            如果不下载这些依赖,使用cdh安装的时候会报各种各样的错误.

     

           10) 时钟同步(必须root用户)

              (1)检查ntp是否安装

                      [root@hadoop102 桌面]# rpm -qa|grep ntp

                       ntp-4.2.6p5-10.el6.centos.x86_64

                      fontpackages-filesystem-1.41-1.1.el6.noarch

                      ntpdate-4.2.6p5-10.el6.centos.x86_64

                (2)修改ntp配置文件

                     [root@hadoop102 桌面]# vi /etc/ntp.conf

                     修改内容如下

                      a)修改1(授权192.168.1.0网段上的所有机器可以从这台机器上查询和同步时间)

                              #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为

                              restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

                                ip地址根据自己的网段进行配置

                    b)修改2(集群在局域网中,不使用其他的网络时间)

                         server 0.centos.pool.ntp.org iburst

                         server 1.centos.pool.ntp.org iburst

                         server 2.centos.pool.ntp.org iburst

                         server 3.centos.pool.ntp.org iburst为

                        #server 0.centos.pool.ntp.org iburst

                       #server 1.centos.pool.ntp.org iburst

                       #server 2.centos.pool.ntp.org iburst

                       #server 3.centos.pool.ntp.org iburst

                   c)添加3当该节点丢失网络连接,依然可以作为时间服务器为集群中的其他节点提供时间同步

                        server 127.127.1.0

                        fudge 127.127.1.0 stratum 10

             (3)修改/etc/sysconfig/ntpd 文件

                 [root@hadoop102 桌面]# vim /etc/sysconfig/ntpd

                增加内容如下(让硬件时间与系统时间一起同步)

                 SYNC_HWCLOCK=yes

             (4)重新启动ntpd

                 [root@hadoop102 桌面]# service ntpd status

                  ntpd 已停

                [root@hadoop102 桌面]# service ntpd start

                正在启动 ntpd:                                            [确定]

              (5)设置ntpd服务开机启动:

                     [root@hadoop102 桌面]# chkconfig ntpd on

                2.    其他机器配置(必须root用户)

                 (1)在其他机器配置10分钟与时间服务器同步一次

                    [root@hadoop103桌面]# crontab -e

                      编写定时任务如下:

                          */10 * * * * /usr/sbin/ntpdate hadoop102

                   (2)修改任意机器时间

                   [root@hadoop103桌面]# date -s "2017-9-11 11:11:11"

                 (3)十分钟后查看机器是否与时间服务器同步

               [root@hadoop103桌面]# date

            说明:测试的时候可以将10分钟调整为1分钟,节省时间。

              

    2、CM安装部署

        CM下载地址:http://archive.cloudera.com/cm5/cm/5/

        离线库下载地址:http://archive.cloudera.com/cdh5/parcels

     

        2.1)上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到/opt/software并解压

            创建/opt/module/cloudera-manager目录

               mkdir /opt/module/cloudera-manager

               tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

         2.2)创建用户cloudera-scm(所有节点

                useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

             --system 创建一个系统账户

             --home 指定用户登入时的主目录,替换系统默认值/home/<用户名>

             --no-create-home 不要创建用户的主目录

             --shell 用户的登录 shell 名

             --comment 用户的描述信息

            注意:

             Cloudera Manager默认用户为cloudera-scm,创建具有此名称的用户是最简单的方法。 安装完成后,将自动使用此用户。

        2.3)配置CM Agent

             修改文件/opt/module/cloudera-manage/cm-5.12.1/etc/cloudera-scm-agent/ config.ini

           vim /opt/module/cloudera-manage/cm-5.12.1/etc/cloudera-scm-agent/config.ini

               server_host=CDH101

       2.4)配置CM的数据库

         1>拷贝mysql jar文件到目录 /usr/share/java/

              mkdir /usr/share/java/

              cp /opt/software/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java

              mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar

              • 注意jar包名称要修改为mysql-connector-java.jar

         2>在mysql中创建cm库

            /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hCDH101 -uroot -p000000 --scm-host CDH101 scm scm scm

    注解:     

           -u:Database username

           -p:Database Password

         mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。

        cm:表示在mysql数据库中创建cm database   

        -h:Database host 表示安装数据库的主机名 (我是在在CDH101上安装的MySQL数据库,所以我指定了CDH101)

        --scm-host CDH101 :CMS的主机,一般是和mysql安装的主机是在同一个主机上。

       最后三个参数是:数据库名,数据库用户名,数据库密码。

    执行完创建cm库的命令后,只有当看到All done, your SCM database is configured correctly!这句话时,表明命令操作是成功的.在执行这行命令后,会遇到很多问题,最常见到的是用户权限问题,这个自行百度吧,或者查看我的另一篇博客:安装CDH过程中所遇到的问题整理 

      2.5)分发cloudera-manage(在CDH101上执行命令,时间会稍长)

               scp -r /opt/module/cloudera-manager/ CDH102:/opt/module/

               scp -r /opt/module/cloudera-manager/ CDH103:/opt/module/

      2.6)创建Parcel-repo 目录

           1> Servre 节点创建目录/opt/cloudera/parcel-repo(server节点就是CDH101节点)

                  创建Cloudera Manager默认存放离线库的地址

                      mkdir -p /opt/cloudera/parcel-repo

                  并赋予parcel-repo所有者权限

                      chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/

           2> 拷贝下载文件到/opt/cloudera/parcel-repo

                 [root@CDH101 software]# cp CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel manifest.json /opt/cloudera/parcel-repo/

                 [root@CDH101 software]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
                 [root@CDH101 software]# cp CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/

           3> 在Agent 节点(CDH102,CDH103,CDH104)创建目录/opt/cloudera/parcels

                 mkdir -p /opt/cloudera/parcels

                 chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

       2.7)分发Parcel-repo

                scp -r /opt/cloudera/ CDH102:/opt/

                scp -r /opt/cloudera/ CDH103:/opt/

       注意:

           当scp之后,需要查看CDH102和CDH103上的parcel-repo的所属主是不是cloudera-scm,如果不是,则使用chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/进行修改

        2.8)启动和关闭CM Server&Agent 服务

         服务节点:CDH101

               [root@CDH101 cloudera]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

               Starting cloudera-scm-server:                              [确定]

         工作节点:CDH101\CDH102\CDH103

            /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start    (三个节点同时执行)

    注意:启动过程非常慢,Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。

    一段时间过后,可以使用下列命令查看7180端口是否已经启动:  netstat -anp | grep 7180   如果查看被占用则表示安装成功了!!!

    [root@CDH101 init.d]# netstat -anp | grep 7180

    tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java

       2.9)访问

          访问http://CDH101:7180,(用户名、密码:admin

     这个地方注意,需要在windows的hosts文件中配置ip地址和域名   

     

    关闭服务:

    服务节点:CDH101

    [root@CDH101 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop

    停止 cloudera-scm-server:                                 [确定]

    工作节点:CDH101\CDH102\CDH103

    [root@CDH101 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

    Stopping cloudera-scm-agent:                               [确定]

     

    3、Cloudera Manager界面操作

      用户和密码都是admin,

    具体解决方案见上面的准备操作中的时钟同步操作。

    版本汇总如下:

    自定义服务中,我们先只选择HDFS,hive和yarn三个组件

    继续下一步开始进行数据库的配置

    接下来开始安装,直到显示集群安装成功.

    安装成功后进入home管理界面

     

    至此,CDH集群已经全部安装完毕

    --------------------------------------------------------------------------------------------------------------------------------------------------------------------

          用人品去感动别人,用改变去影响别人,用状态去燃烧别人,用行动去带动别人,用阳光去照耀别人,用坚持去赢得别人,要求自己每天都去做与目标有关的事情,哪怕每天只进步一点点,坚持下来你就是最优秀卓越的!欢迎大家加入大数据交流群:725967421     一起交流,一起进步!!

    ---------------------------------------------------------------------------------------------------------------------------------------------------------------------

     

    展开全文
  • CDH安装部署步骤

    2019-06-19 15:37:53
    CDH下载地址: CDH5.4: http://archive.cloudera.com/cdh5/ Cloudera Manager5.4.3: ... ...准备工作:(linux必须是64位的) ...安装CDH之前,我们需要安装一下CM,CM环境搭建所需要的条件,对电脑来说: 我们...

    CDH下载地址:

    CDH5.4:

    http://archive.cloudera.com/cdh5/

    Cloudera Manager5.4.3:

    http://www.cloudera.com/downloads/manager/5-4-3.html

     

    准备工作:(linux必须是64位的)

    安装CDH之前,我们需要安装一下CM,CM环境搭建所需要的条件,对电脑来说:

    我们要根据我们电脑的内存进行分配相应的空间。

    然后就是centos环境的问题,我用的是,我之前搭建hadoop集群时用的机器centos6.6 这个里面主机名,ip,网络都已经配过了,然后三台机器之前也可以进行两两互相通信,要是配个centos都不会的话,那建议你就放弃吧。先把首先的环境准备好,再进行后续配置CDH的工作。

    1、linux虚拟机准备工作:

    系统环境搭建

    1 、网络配置( 所有节点)

    vi /etc/sysconfig/network 修改 hostname:

    通过 service network restart 重启网络服务生效

    vi /etc/hosts ,修改 ip 与主机名的对应关系

     

    2 、SSH  免密码登录

    主节点执行:

    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

    生成无密码密钥对

    拷贝公钥到其他节点,执行

    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    测试:主节点 ssh 其他节点 ……

    3、 关闭 防火墙

    临时关闭:

    service iptables stop

    重启后生效:

    chkconfig iptables off

     

    4、 关闭 SELINUX

    临时关闭:

    setenforce 0

    修改配置文件/etc/selinux/config(重启生效):

    将 SELINUX=enforcing 改为 SELINUX=disabled

     

    查看 SELINUX 状态:

    1、/usr/sbin/sestatus –v

    SELinux status: enabled(enabled:开启;disabled:关闭)

     

    2、使用命令:getenforce

     

    5、 安装 JDK

     

    本文采用 RPM 包安装…….执行:(也可以用tar包进行安装jdk)

    rpm -ivh jdk-7u80-linux-x64.rpm

     

    配置环境变量,修改/etc/profile:

    export JAVA_HOME=/usr/java/jdk1.7.0_80

    export PATH=$JAVA_HOME/bin:$PATH

    export CLASSPATH=.:$JAVA_HOMdE/lib/dt.jar:$JAVA_HOME/lib/tools.jar

     

    生效:

    source /etc/profile

     

    查看版本:

    [root@slave6 cdh]# java -version

    java version "1.7.0_80"

    Java(TM) SE Runtime Environment (build 1.7.0_80-b15)

    Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

     

    6、 设置 NTP

    所有节点安装 NTP:

    yum install ntp

    配置开机启动:

    chkconfig ntpd on

    检查是否设置成功:

    chkconfig --list ntpd (2-5 为 on 状态则成功)

    设置同步:

    ntpdate -u ntp.sjtu.edu.cn(时钟服务器根据实际环境设置、本文采用 210.72.145.44-国家授时

    中心服务器 IP 地址)

     

    7、 安装 配置 MySql

    安装过程略……本文采用 MySql 5.5

    安装成功以后,对权限进行一下设置:

     

    首先选中mysql数据库:

     

    grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

    flush privileges;

     

    详情见hive环境搭建

     

    建库操作及脚本参照:步骤三、步骤六

     

    8 、下载依赖包(这个我没弄)

    ·  chkconfig

    ·  python (2.6 required for CDH 5)

    ·  bind-utils

    ·  psmisc

    ·  libxslt

    ·  zlib

    ·  sqlite

    ·  cyrus-sasl-plain

    ·  cyrus-sasl-gssapi

    ·  fuse

    ·  portmap

    ·  fuse-libs

    ·  redhat-lsb

    整理一块就是一条命令:

    (第一次失败,第二次成功,不要问我为什么,我也不知道)

    yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb -y

     

    9、确保环境字符集为英文状态,如果是中文将会出现问题。如果时中文编码,请修改一下字符集:

     

    编辑文件:

    vi  /etc/sysconfig/i18n  

    然后修改值为:

    LANG="en_US"

    2、CM的安装:(Cloudera Manager Server&Agent)

    忠告:

    老哥给你一个忠告,好好检查一下上面的环境是否配置成功,然后jdk的环境是否成功。时间是否一致,ssh免密码登录是否配置好,字符集是否是英文的,防火墙是否关闭。检查检查再检查,别急着往下怼,怼不好,还得重新开始、

     

    2-1、安装CM

    拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点

    创建 cm 目录:

    mkdir /opt/cloudera-manager

    解压 cm 压缩包:

    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

     

    2-2、创建用户 cloudera-scm (所有节点)

    执行:

    useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    2-3、配置 CM Agent:

    修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中

    server_host 修改成server的主机名,我用的是master,然后这个server_port千万别改。

     

    2-4、配置 CM Server的数据库:

    将驱动包拷贝到目录下( 注意拷贝过去的驱动包名字一定要和下边的一样,否则会报错 ):

    cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-

    connector-java.jar

     

    执行:

    mysql> grant all privileges  on *.* to 'temp'@'%' identified by 'temp' with grant option;

     

    cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema

     

    模板:

    ./scm_prepare_database.sh mysql temp -h 主机名 -utemp -ptemp --scm-host 主机名 scm scm scm

    如:

     

    ./scm_prepare_database.sh mysql temp -h master -utemp -ptemp --scm-host master scm scm scm

    (对应于:数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….)

    注意:

    如果我们执行失败的话,我们将权限扩大一点。把

    mysql> grant all privileges  on *.* to 'temp'localhost'%' identified by 'temp' with grant

    mysql> grant all privileges  on *.* to 'temp'主机名'%' identified by 'temp' with grant

     

    或者删除掉其它权限只留下一个带%的就OK了:

    删除多余会对权限造成影响的数据:

    delete from user where host !='%';

    刷新权限  flush privileges;

     

    mysql> drop user 'temp'@'%';

    若上步失败或过程中操作中断,删除所有库、重头来过 /( ㄒ o ㄒ )/~~

    若安装 Oozie 等组件可能需要手动创建对应组件所需的数据库,例如:

    create database ooziecm DEFAULT CHARACTER SET utf8;

    grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';

     

    2-5、创建 Parcel  目录:

    Manager  节点创建目录/opt/cloudera/parcel-repo,

     

    执行:

    mkdir -p /opt/cloudera/parcel-repo

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

    将下载好的文件(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、manifest.json)拷贝到该目录下。

    Agent  节点创建目录/opt/cloudera/parcels,执行:

    mkdir -p /opt/cloudera/parcels

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

     

    2-6、启动 CM Manager&Agent  服务

    执行:

    Manager:   /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start

    Agents:    /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

    访问:http://ManagerHost:7180,若可以访问(用户名、密码:admin),则安装成功。

     

    Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。

    然后返回两级目录进入 log里面

    可以通过  

    tail -f XXX.log

    进行动态查看文件日志,看是否启动成功。

     

    CDH5 5  安装成功测试:

    CM Manager && Agent 成功启动后,登录前端页面进行 CDH 安装配置。

    如果出现如下界面表示安装成功:

    http://master:7180 

     

     

    要是觉得不详细可以参考:

    http://www.cnblogs.com/haozhengfei/p/d90e8f4da465036fabbb1d1e1eae886a.html 

    至此,CM算是搭建好了。

     

    CDH正式环境搭建:

    通过CM把CDH集群部署起来,部署的方式有四种:cm,yum,rpm,tarball,其中我们采用的是离线cdh

    下面所有的操作都是在web界面上操作的;9个步骤,

    1、如果不小心点击了外网的版本,那么就会从外网下载,这个时候点击返回,依旧会下载,那么唯一的解决办法

    2、就是停掉server,进去之后会出现已下载,也就是我们早就下载好到了parcels-repo,当然会是100%;然后第二

    3、个步骤是分配,就是把parcels-repo里面的软件分发到agent的parcel目录去;

    4、cloudera建议我们的/proc/sys/vm/swappiness交换内存为0,将这个文件设置为0即可;当然这样修改只是本次开机

    5、下次开机依旧不会改成这样;可以改另一个文件;

    6、我们后面看到的图表,监控都是来自于CM service;从最开始那个ppt图上面可以看到

    7、在使用cm配置cdh的时候,默认是没有给我们做高可用,虽然我们使用的是cm版本五,使用的hadoop是2.x,但是

    8、还是会有snn,只有在做了高可用之后snn才会消失;当我们只在cm上面安装hadoop的时候,有一个步骤,数据库检测

    9、由于安装hadoop不需要数据库,所以会一闪而过;

     

     

    参考链接:

    https://www.cnblogs.com/cac2020/p/10488341.html

    http://www.cnblogs.com/haozhengfei/p/d90e8f4da465036fabbb1d1e1eae886a.html 

     

    展开全文
  • CDH安装配置

    万次阅读 2018-10-05 17:45:41
    软件安装 JDK安装 所有节点 安装 环境变量配置 sudo vim /etc/profile export JAVA_HOME=/usr/java/default export PATH=$JAVA_HOME/bin:$PATH 使用root用户 echo "JAVA_HOME=/usr/java/defaul....

    Cloudera5.14配置

    • 准备工作
      1. 软件下载
      2. 软件安装
        1. JDK安装

    所有节点

    1. 安装
    2. 环境变量配置

    sudo vim /etc/profile

    export JAVA_HOME=/usr/java/default

    export PATH=$JAVA_HOME/bin:$PATH

    使用root用户

    echo "JAVA_HOME=/usr/java/default" >> /etc/environment

     

        1. Mysql安装

    https://blog.csdn.net/u014646662/article/details/75195739

        1. Httpd安装

    yum install httpd

    service httpd start

    chkconfig httpd on

        1. Mod_ssl安装

    yum install mod_ssl

      1. Linux环境配置
        1. 环境变量配置
        2. 主机配置

    每一台都要配,以Manager节点为例,其他节点配置方法相同

    表1-1 主机配置

    IP

    HostName

    Node

    192.168.160.128

    cloudera.manager

    Manager

    192.168.160.135

    cloudera.agent1

    Agent

    192.168.160.n…

    cloudera.agent…

    Agent

     

    1. 修改主机名:

    sudo vim /etc/sysconfig/network

    使用root用户(vim 编辑也可)

    echo "cloudera.manager" > /etc/hostname

    修改hosts文件

    sudo vim /etc/hosts

    重启网卡

    sudo service network restart

    如果启动失败

    启动失败如果是没有发现网卡驱动,请检查网卡的名字(ifconfig),是否与配置的一致

    配置:

    sudo vim /etc/udev/rules.d/70-persistent-net.rules

    配置的网卡name

    sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0 (编辑你使用的网卡)

     

    DEVICE="eth0"

    BOOTPROTO="dhcp"

    HWADDR="00:0C:29:C0:68:D6"

    IPV6INIT="yes"

    NM_CONTROLLED="yes"

    ONBOOT="yes"

    TYPE="Ethernet"

    UUID="66563504-826a-4fff-9088-8cf8159a1e37"

     

    这些操作之后应该网卡就可以正常启动了,顺便提示一下,如果你的虚拟机是复制的,那你要更改UUID,使每一台机器UUID都是唯一的

    重启linux

    reboot

    系统重启后,检查是否配置成功

    hostname

    1. 关闭防火墙

     

    关闭

    sudo service iptables stop

    sudo chkconfig iptables off

    查看状态

    sudo service iptables status

     

    1. 关闭SELinux

    sudo vim /etc/selinux/config

    修改:

    SELINUX=disabled

    1. Ntp 配置

    如果你没有装,请先安装(redhat 系统自带)

    yum install ntp

    该配置除Manager节点外都要配,即只配Agent

    sudo vim /etc/ntp.conf

    修改内容

    server cloudera.manager

    启动ntp

     

    service ntpd start

    chkconfig ntpd on

    查看启动状态

    sudo service ntpd status

    命令查看同状态

    ntpstat

     

     

        1. MySQL初始化

     

    主节点

    create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    create database activity DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    grant all privileges on *.* to 'root'@'localhost' identified by 'ztx' with grant option;

    grant all privileges on *.* to 'root'@'cloudera.manager' identified by 'ztx' with grant option;

    flush privileges;

     

        1. SSH配置

    ssh-keygen -t rsa

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

     

    scp ~/.ssh/authorized_keys root@cloudera.agent1:~/.ssh/

    scp ~/.ssh/authorized_keys lucky@cloudera.agent1:~/.ssh/

     

    • Cloudera安装
      1. Cloudera 解压

     

    每台机器操作相同

    进入安装包的路径

    cd /opt/

    mkdir /opt/cloudera-manager /opt/cloudera

    解压cloudera-manager

    tar -xzvf cloudera-manager-el6-cm5.14.3_x86_64.tar.gz -C /opt/cloudera-manager

    mv /opt/cloudera-manager/cloudera/* /opt/cloudera/

     

      1. 创建cloudera-scm用户

     

     

    每台机器

    sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM" cloudera-scm

     

     

    由于Cloudera Manager和Managed Services默认使用cloudera­scm,所以需要创建此用户

      1. Cloudera配置
        1. 主节点配置

     

    sudo mkdir /var/lib/cloudera-scm-server

    sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

     

        1. Agent配置

    配置所有节点的Agent,

    vim /opt/cloudera-manager/cm-5.14.3/etc/cloudera-scm-agent/config.ini

        1. MySQL配置

     

    注意去除了版本号

    所有节点

    mv mysql-connector-java-5.1.38.jar /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar

    主节点

    /opt/cloudera-manager/cm-5.14.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pztx --force --scm-host localhost scm scm scm

    --force 是忽略错误,

     

     

        1. 安装CDH5

    将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo目录

    最后将CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha1,重命名为CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel文件

        1.  
      1. 后续信息

    sudo mkdir /var/run/cloudera-scm-agent

    sudo chown cloudera-scm:cloudera-scm /var/run/cloudera-scm-agent

    sudo mkdir /opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server

    sudo chown cloudera-scm:cloudera-scm /opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server

    echo 0 > /proc/sys/vm/swappiness

    echo never > /sys/kernel/mm/transparent_hugepage/defrag

    echo never > /sys/kernel/mm/transparent_hugepage/enabled

      1. 安装组件时

    Hive安装失败(找不到mysql 驱动)

    cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/lib/

    oozie安装失败(找不到mysql 驱动)

    cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/lib

    cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/libext/

     

    • 集成环境配置
      1. 启动

    cd /opt/cloudera-manager/cm-5.14.3/etc/init.d/

    Manager:./cloudera-scm-server start

    Agent: ./cloudera-scm-agent start

      1. 登录

     

    • 问题
      1. 启动Hadoop生态圈中的组件出错(缺少服务)

    启动出错原因:部分软件没有安装

    例如:hue启动时角色启动失败

    请检查httpd和mod_ssl是否安装了,在错误日志中可以看到

    如果这两个软件没有装,在启动时也会报没有权限,手动更改权限后再重启,hue又重新生成文件,又说没有权限,再继续向下看错误日志,会发现这两个软件没有装,如果已经装过,那就是没有启动服务。

    在启动服务时一定要用root用户,前面加sudo是不行的

    yum install httpd

    service httpd start

    chkconfig httpd on

     

    yum install mod_ssl

    service mod_ssl

    chkconfig mod_ssl on

     

     

      1. 运行命令出错(权限管理)

    错误多为权限问题

    在控制权限的时候不要都给*777权限,尽量不要给所有用户赋予可写权限,在cdh中Hadoop生态圈中所有的组件的超级管理员默认是hdfs,属于hdfs组,也属于超级管理员组。

    在linux中默认的超级管理员是root,root在Hadoop生态圈组件中却属于普通用户,不是管理员用户。

    默认情况下,hive、spark、hue等组件执行命令时,如果不是hdfs用户,都会出现权限问题,抛出异常。要指定的用户有权限执行命令可以这么做:

    Ⅰ 在linux下使用hdfs登录,登录方式:

    1. su hdfs 回车后输入hdfs密码;
    2. 登录root后只输入su hdfs回车,不需要hdfs密码
    3. 具有sudo 的用户可以输入sudo su hdfs

    Ⅱ 更改hdfs的/user目录的权限,赋予775

    hdfs dfs chmod 775 /user

    Ⅲ 为指定的用户添加权限,即将指定的用户添加到hdfs组中,不改变之前的所属组

    usermod -a -G hdfs username

    username 是待指定的用户的名字

    Hue的web页面登录的用户要属于hdfs组

      1. SERVICE_MONITORING is not running
    展开全文
  • CDH安装详细步骤

    千次阅读 热门讨论 2019-09-16 08:52:19
    目录 目录 第1章 配置环境 1.1.准备阶段 1.1.1.服务器 1.1.2.操作系统 ...1.2.安装配置 ...1.2.1.安装操作系统 ...1.2.3.安装Oracle JDK (所有节点) ...第2章 安装CDH 2.1.安装配置Cloudera Manager ...

    目录

    目录

    第1章 配置环境

    1.1.准备阶段

    1.1.1.服务器

    1.1.2.操作系统

    1.2.安装配置

    1.2.1.安装操作系统

    1.2.2.配置操作系统

    1.2.3.安装Oracle JDK (所有节点)

    1.2.4.配置SSH免密

    1.2.5.安装配置mysql

    1.2.6. NTP时间同步

    第2章 安装CDH

    2.1.安装配置Cloudera Manager

    2.2.安装配置CDH

    2.3 CDH的组件升级




    前言

           该文是本人自己在搭建大数据集群的时候,网上找了各种安装教程资料,最后发现在安装过程中会遇到各种棘手的问题,报各种错误,最后在各种查找报错原因的情况下总结得到了搭建集群行之有效的详细安装方法,针对易配置错的地方,有红色标准,应该引以为意,不可马虎。学习的小伙伴可以作为参考,大神轻喷!

           废话少说,上来就是干!

    第1章 配置环境

    1.1.准备阶段

    1.1.1.服务器

    至少准备三台服务器

    IP地址

    机器名

    192.168.80.239

    n1

    192.168.80.192

    n2

    192.168.80.190

    n3

    1.1.2.操作系统

    (1)centos7

    http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD 1708.iso

    (2)若在虚拟机内安装centos7,下载VMware-workstation软件

     

    1.1.3.Oracle jdk8u131

     

    1.1.4.Mysql数据库

     

    1.1.5.数据库驱动包

     

    1.1.6. Cloudera大数据相关软件包

    (1)Cloudera Manager5.13.0

     

    (2)CDH5.13.0

     

    1.2.安装配置

    1.2.1.安装操作系统

    (1)光盘安装,直接下一步就好(后续操作全部使用root用户)

    (2)U盘安装,某些主办无法识别U盘名称,在制作U盘为启动盘的时候盘符名称会超出规定字符数不现实造成的,故手动指向U盘的挂载目录

     

     

    (3)虚拟机的话更灵活,直接选择centos操作系统加载就可以,配置网络的时候选择桥接模式

     

    1.2.2.配置操作系统

    (1)设置主机名称(n1为主namenode,n2-n3为datanode) (root身份 )(所有节点)

    #vi /etc/sysconfig/network

    NETWORKING=yes

    HOSTNAME=n1

     

    #source /etc/sysconfig/network

    通过 service network restart 重启网络服务生效。

     

    (2)设置IP和机器名的映射关系(所有节点)

    #vi /etc/hosts

    192.168.80.239 n1

    192.168.80.192 n2

    192.168.80.190 n3

     

    (3)设置网络(所有节点)

    #vi /etc/sysconfig/network-scripts/ifcfg-ens33

    TYPE="Ethernet"

    PROXY_METHOD="none"

    BROWSER_ONLY="no"

    BOOTPROTO="static"

    DEFROUTE="yes"

    IPV4_FAILURE_FATAL="no"

    IPV6INIT="yes"

    IPV6_AUTOCONF="yes"

    IPV6_DEFROUTE="yes"

    IPV6_FAILURE_FATAL="no"

    IPV6_ADDR_GEN_MODE="stable-privacy"

    NAME="ens33"

    UUID="a278b039-9450-40e3-bbfc-be31b1d35e21"

    DEVICE="ens33"

    ONBOOT="yes"

    GATEWAY="192.168.80.1"

    IPADDR="192.168.80.239"

    NETMASK="255.255.255.0"

    DNS1="8.8.8.8"

    DNS2="8.8.4.4"

    注意:不是所有的机器都是配置“ifcfg-ens33”这个文件,到/etc/sysconfig/network-scripts/目录下可以看以ifcfg-ens开头的文件

    UUID不要改动

     

    (4)重新启动网络,并且测试网络联通情况(三台机器配置基本相同,在此只以n1配置为例)(所有节点)

    #/etc/init.d/network restart

    验证:

    #ping n1

    #ping www.baidu.com

     

    (5)设置防火墙(所有节点)

    关闭防火墙

    #systemctl stop firewalld.service

    开机不启动

    #systemctl disable firewalld.service

    查看状态

    #firewall-cmd --state

     

    (6)关闭SELINUX (所有节点)

    #vi /etc/selinux/config

    SELINUX=disabled

    (7)安装更新部分linux软件包(逐个安装,不要一起拷贝)(所有节点)

    #yum install -y chkconfig

    #yum install -y python

    #yum install -y bind-utils

    #yum install -y psmisc

    #yum install -y libxslt

    #yum install -y zlib

    #yum install -y sqlite

    #yum install -y cyrus-sasl-gssapi

    #yum install -y fuse

    #yum install -y portmap

    #yum install -y fuse-libs

    #yum install -y redhat-lsb

    #yum install -y iw

    #yum install -y net-tools

    #yum install -y perl perl-devel autoconf libaio

    #yum install -y python-lxml

    #yum install -y python-psycopg2

    #yum install -y mod_ssl

    #yum install -y httpd

    #yum install -y MySQL-python

    #yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-devel libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel

     

    1.2.3.安装Oracle JDK (所有节点)

    自带jdk的卸载:

    rpm -qa | grep jdk

        rpm -e java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64 --nodeps

        rpm -e java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64 --nodeps

        rpm -e copy-jdk-configs-2.2-3.el7.noarch --nodeps

     

    通过linux连接工具把jdk安装包放置在/tmp目录下

    创建java目录

    #mkdir /usr/java

    拷贝安装包到java目录

    #cp /tmp/jdk-8u131-linux-x64.tar /usr/java

    减压安装包

    #tar -xf /usr/java/jdk-8u131-linux-x64.tar

    把减压后的安装包修改名称

    #mv /usr/java/jdk1.8.0_131 /usr/java/jdk1.8

    配置javaclasspath

    #vi /etc/profile

    在文件末尾增加

    JAVA_HOME=/usr/java/jdk1.8

    JRE_HOME=/usr/java/jdk1.8/jre

    CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

    PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

    export JAVA_HOME JRE_HOME CLASS_PATH PATH

    使配置生效

    #source /etc/profile

    验证

    #java -version

    #java

    #javac

     

    1.2.4.配置SSH免密

    (1)(所有节点)都执行ssh-keygen -t rsa,一路回车,生成无密码的密钥对。

    #ssh-keygen -t rsa

    在各自的~/.ssh目录下会生成两个文件

    在各节点执行如下命令

    (在其他节点可能出现错误,需要设置IP和机器名的映射关系:#vi /etc/hosts)

    # ssh-copy-id n1

    # ssh-copy-id n2

    # ssh-copy-id n3

    测试:在主节点上ssh n2,正常情况下,不需要密码就能直接登陆进去了。

    #ssh root@n2

    #ssh root@n3

     

    1.2.5.安装配置mysql

    仅n1(主)节点

    通过 linux 连接工具把 mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz 拷贝到/tmp目录下

    把安装包拷贝到安装目录

    #cp /tmp/mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz /usr/local/

    减压安装包

    #cd /usr/local/

    #tar -zvxf mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz

    重命名安装包

    #mv mysql-5.7.21-linux-glibc2.12-x86_64 mysql

    检查是否安装mariadb

    #rpm -qa|grep mariadb

    卸载mariadb

    #rpm -e –nodeps [文件名]

    删除etc目录下的my.cnf(存在的话)

    #cd /etc

    #rm -rf my.cnf

    创建mysql的组

    #groupadd mysql

    创建mysql的用户并加入mysql组

    #useradd -g mysql mysql

    配置my.cnf文件

    #vi /etc/my.cnf

    [client]

    #character-set-server=utf8

    port=3306

    socket=/var/lib/mysql/mysql.sock

    [mysqld]

    #skip-grant-tables

    #设置3306端口

    port=3306

    socket=/var/lib/mysql/mysql.sock

    #设置mysql的安装目录

    basedir=/usr/local/mysql

    #设置mysql数据库的数据的存放目录

    datadir=/usr/local/mysql/data

    #允许最大连接数

    max_connections=200

    #服务端使用的字符集默认为8比特编码的latin1字符集

    character-set-server=utf8

    #创建新表时将使用的默认存储引擎

    default-storage-engine=INNODB

    user=mysql

    [mysqld_safe]

    pid-file=/usr/local/mysql/data/n1.pid

    创建mysql目录并且给mysql用户赋权socket=/var/lib/mysql/mysql.sock

    #mkdir /var/lib/mysql

    #chown -R mysql:mysql /var/lib/mysql

    设置/usr/local/mysql目录拥有者为mysql用户

    #cd /usr/local/mysql

    #chown -R mysql:mysql ./

    安装和初始化数据库

    #/usr/local/mysql/bin/./mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data/

    修改data为mysql用户所有

    #chown -R mysql:mysql data

    授权my.cnf

    #chown 777 /etc/my.cnf

    复制启动脚本到资源目录

    #cp -a /usr/local/mysql/support-files/mysql.server  /etc/init.d/mysqld

    增加mysqld服务控制脚本执行权限

    #chmod +x /etc/init.d/mysqld

    将mysqld服务加入到系统服务

    #chkconfig --add /etc/init.d/mysqld

    #/usr/local/mysql/bin./mysqld_safe --user=mysql &

    配置MYSQL_HOME

    #vi /etc/profile

    MYSQL_HOME=/usr/local/mysql

    PATH=$PATH:$MYSQL_HOME/bin

    export PATH    

     

    source /etc/profile

    启动mysql服务

    #/etc/init.d/mysqld restart

    显示默认密码

    #cat /root/.mysql_secret

    第一次登录

    #/usr/local/mysql/bin./mysql -uroot -p

    在/etc/my.cnf 中[mysqld]下面增加:skip-grant-tables

    操作完毕后,再注释掉

    修改密码

    mysql>SET PASSWORD = PASSWORD('jtv.123456');

    添加远程访问:

    mysql>use mysql;

    mysql>update user set host = '%' where user = 'root';

    mysql>select host, user from user;

    重启mysql服务配置生效

    #/etc/init.d/mysqld restart

     

    1.2.6. NTP时间同步

    (1)(所有节点)都安装ntp包

    检查安装ntp服务没有

    #rpm -q ntp

    没有安装进行安装,安装略过

    #yum -y install ntp

     

    设置时区

    #timedatectl set-timezone Asia/Shanghai

    开机自启动

    #systemctl enable ntpd

    启动服务

    #systemctl start ntpd

    (2)设置n1节点(ntp服务器)

    第一次同步时间

    #ntpdate -u cn.pool.ntp.org

    设置红色的部分

    # vi /etc/ntp.conf

    # For more information about this file, see the man pages

    # ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).

     

    driftfile /var/lib/ntp/drift

     

    # Permit time synchronization with our time source, but do not

    # permit the source to query or modify the service on this system.

    restrict default nomodify notrap nopeer noquery

     

    # Permit all access over the loopback interface.  This could

    # be tightened as well, but to do so would effect some of

    # the administrative functions.

    restrict 127.0.0.1

    restrict ::1

     

    # Hosts on local network are less restricted.

    #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

     

    restrict 192.168.80.0 mask 255.255.255.0 nomodify notrap

     

    # Use public servers from the pool.ntp.org project.

    # Please consider joining the pool (http://www.pool.ntp.org/join.html).

    #server 0.centos.pool.ntp.org iburst

    #server 1.centos.pool.ntp.org iburst

    #server 2.centos.pool.ntp.org iburst

    #server 3.centos.pool.ntp.org iburst

     

    server 2.cn.pool.ntp.org

    server 1.asia.pool.ntp.org

    server 2.asia.pool.ntp.org

     

    #broadcast 192.168.1.255 autokey        # broadcast server

    #broadcastclient                        # broadcast client

    #broadcast 224.0.1.1 autokey            # multicast server

    #multicastclient 224.0.1.1              # multicast client

    #manycastserver 239.255.254.254         # manycast server

    #manycastclient 239.255.254.254 autokey # manycast client

     

    # 允许上层时间服务器主动修改本机时间

    restrict 2.cn.pool.ntp.org nomodify notrap noquery

    restrict 1.asia.pool.ntp.org nomodify notrap noquery

    restrict 2.asia.pool.ntp.org nomodify notrap noquery

    server 127.0.0.1 # local clock

    fudge 127.0.0.1 stratum 10

     

    # Enable public key cryptography.

    #crypto

     

    includefile /etc/ntp/crypto/pw

     

    # Key file containing the keys and key identifiers used when operating

    # with symmetric key cryptography.

    keys /etc/ntp/keys

     

    # Specify the key identifiers which are trusted.

    #trustedkey 4 8 42

     

    # Specify the key identifier to use with the ntpdc utility.

    #requestkey 8

     

    # Specify the key identifier to use with the ntpq utility.

    #controlkey 8

     

    # Enable writing of statistics records.

    #statistics clockstats cryptostats loopstats peerstats

     

    # Disable the monitoring facility to prevent amplification attacks using ntpdc

    # monlist command when default restrict does not include the noquery flag. See

    # CVE-2013-5211 for more details.

    # Note: Monitoring will not be disabled with the limited restriction flag.

    disable monitor

    (3)设置ntp客户端时间同步,修改红色的部分(其他节点)

    # For more information about this file, see the man pages

    # ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).

     

    driftfile /var/lib/ntp/drift

     

    # Permit time synchronization with our time source, but do not

    # permit the source to query or modify the service on this system.

    restrict default nomodify notrap nopeer noquery

     

    # Permit all access over the loopback interface.  This could

    # be tightened as well, but to do so would effect some of

    # the administrative functions.

    restrict 127.0.0.1

    restrict ::1

     

    # Hosts on local network are less restricted.

    #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

     

    # Use public servers from the pool.ntp.org project.

    # Please consider joining the pool (http://www.pool.ntp.org/join.html).

    #server 0.centos.pool.ntp.org iburst

    #server 1.centos.pool.ntp.org iburst

    #server 2.centos.pool.ntp.org iburst

    #server 3.centos.pool.ntp.org iburst

     

    server 192.168.80.1

    restrict 192.168.80.1 nomodify notrap noquery

    server 127.0.0.1

    fudge 127.0.0.1 stratum 10

     

    #broadcast 192.168.1.255 autokey        # broadcast server

    #broadcastclient                        # broadcast client

    #broadcast 224.0.1.1 autokey            # multicast server

    #multicastclient 224.0.1.1              # multicast client

    #manycastserver 239.255.254.254         # manycast server

    #manycastclient 239.255.254.254 autokey # manycast client

     

    # Enable public key cryptography.

    #crypto

     

    includefile /etc/ntp/crypto/pw

     

    # Key file containing the keys and key identifiers used when operating

    # with symmetric key cryptography.

    keys /etc/ntp/keys

     

    # Specify the key identifiers which are trusted.

    #trustedkey 4 8 42

     

    # Specify the key identifier to use with the ntpdc utility.

    #requestkey 8

     

    # Specify the key identifier to use with the ntpq utility.

    #controlkey 8

     

    # Enable writing of statistics records.

    #statistics clockstats cryptostats loopstats peerstats

     

    # Disable the monitoring facility to prevent amplification attacks using ntpdc

    # monlist command when default restrict does not include the noquery flag. See

    # CVE-2013-5211 for more details.

    # Note: Monitoring will not be disabled with the limited restriction flag.

    disable monitor

     

    启动ntp服务(所有节点)

    #systemctl restart ntpd

     

     

     

    第2章 安装CDH

    2.1.安装配置Cloudera Manager

    (1)配置n1节点

    通过工具将下面的安装包上传到/tmp目录

    cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz

    CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel

    CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1

    manifest.json

    拷贝CM安装包到/opt目录下

    #cp /tmp/cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz /opt/

    把CM解压缩

    #cd /opt/

    #tar -zxvf cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz

    将解压出来的两个目录的所有者改成root

    # chown -R  root.root /opt/cloudera/

    # chown -R  root.root /opt/cm-5.13.0/

    把除CM外的三个文件拷贝到CM解压后的/opt/cloudera/parcel-repo下

    #cp /tmp/CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel /opt/cloudera/parcel-repo

    #cp /tmp/CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 /opt/cloudera/parcel-repo

    #cp /tmp/manifest.json /opt/cloudera/parcel-repo

     把CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1后面的1去掉

    # cd /opt/cloudera/parcel-repo

    # mv CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha

     配置映射服务器的机器名

    #vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini

    server_host=n1

    创建cloudera-scm-agent的pid目录

    #mkdir /opt/cm-5.13.0/run/cloudera-scm-agent

    将mysql的JDBC驱动放入CM的/opt/cm/share/cmf/lib/目录下

    #cp /tmp/mysql-connector-java-5.1.45-bin.jar /opt/cm-5.13.0/share/cmf/lib

    在mysql中创建CM所用数据库

    --hive数据库

    mysql>create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

     

    --oozie数据库

    mysql>create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

     

    --hue数据库

    mysql>create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

     

    --reports数据库

    mysql>create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

     

    访问授权

    mysql>grant all privileges on *.* to 'root'@'n1' identified by 'jtv.123456' with grant option;

    mysql>flush privileges;

    为CM创建数据库

    #/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -h localhost -uroot -pjtv.123456 --scm-host localhost scm scm scm

    设置swap空间

    #vi /etc/sysctl.conf

    末尾加上 vm.swappiness=10

    创建cloudera-scm用户 (所有节点)

    #useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    (2)配置子节点

    拷贝/etc/sysctl.conf到子节点

    #scp /etc/sysctl.conf root@n2:/etc/sysctl.conf

    #scp /etc/sysctl.conf root@n3:/etc/sysctl.conf

    拷贝/opt/ cm-5.13.0到其余节点

    #scp -r /opt/cm-5.13.0 root@n2:/opt/

    #scp -r /opt/cm-5.13.0 root@n3:/opt/

     

    (3)启动服务

    三台机器分别重启

    #reboot

    启动CM server服务(n1节点)

    #/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start

    分别启动CM agent服务(n1,n2,n3节点)

    #/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

    启动服务需要等待几分钟,然后访问安装界面

    n1:7180/cmf/login

    用户名/密码默认(admin/admin)

    2.2.安装配置CDH

    (1)登录后,选择免费版本,已经没有节点限制了

    (2)当前管理的主机正确的话可以看到三台,n1,n2,n3,选中点击继续,如果看不全主机可能有三种原因

    原因1:各个节点没有指向n1服务器

    #vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini

    server_host=n1

    原因2:删除各节点随机uuid

    #/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop

    #rm /opt/cm-5.13.0/lib/cloudera-scm-agent/uuid

    #/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

    原因3:检查ssh是否设置免密访问

    #ssh root@n2

    #ssh root@n3

     

    (3)选择CDH-5.13.0-1.cdh5.13.0.p0.29这个版本,然后点击继续

    集群安装,Parcel,正常的话可以安装完成,需要十几分钟,若出现主机不良

    #/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop

    #rm -f /opt/cm-5.13.0/lib/cloudera-scm-agent/cm_guid

    #/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

    若出现Failure due to stall on seeded torrent

    重启提示节点的agent服务

    (4)集群安装

    (5)继续,部分警告没有关系,当然是可以解决的。解决方案如下:

    https://img-blog.csdn.net/20160718152716600

    解决方法:

    # echo 0 > /proc/sys/vm/swappiness

    # echo never > /sys/kernel/mm/transparent_hugepage/defrag

    # echo "echo 0 > /proc/sys/vm/swappiness" >>/etc/rc.d/rc.local

    # echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >>/etc/rc.d/rc.local

    执行解决方法之后点击重新运行:

    https://img-blog.csdn.net/20150522193537007

     

    (6)机器配置不高的话可选择自定义服务,选择当前所需,后续可以再追加安装。

    这里选择所有服务。

     

    (7)服务配置,一般情况下保持默认就可以了(Cloudera Manager会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置就可以了)

    https://img-blog.csdn.net/20150522193731527

     

    8)接下来是数据库的设置,检查通过后就可以进行下一步的操作了:

    如果出现以下错误。

    解决方案:(主节点)依次执行以下命令。

    # yum install python-psycopg2

    # yum install libxml2-python

    # yum install mysql*

     

    (9)下面是集群设置的审查页面,全部保持默认配置即可:

    https://img-blog.csdn.net/20150522193932209

    (10)终于到安装各个服务的地方了,注意,这里安装Hive,或oozie的时候可能会报错,因为我们使用了MySql作为hive的元数据存储,hive默认没有带mysql的驱动,通过以下命令拷贝一个就行了:

    (里面的部分目录不对,请根据实际的做修正):

    # cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/

     

    # cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/oozie/lib/

     

    # cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie/

     

    # cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

    https://img-blog.csdn.net/20160718162934674

    大约十几分钟,安装完成。

    注:但是运行到这里可能会出现以下错误:

    http://images2015.cnblogs.com/blog/866911/201606/866911-20160627141427859-1476668108.png

    返回cloudera manager主页,查看已经有了oozie的服务,直接启动它!

    大功告成!!!

     

    末尾设置:设置HADOOP_CLASSPATH

    # vi ~/.bash_profile

    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/*

    PATH=$PATH:$HOME/bin:$HOME/.local/bin

    export PATH

    # source ~/.bash_profile

    2.3 CDH的组件升级

    参考大神的博客:http://f.dataguru.cn/spark-919931-1-1.html

     

     

     

    展开全文
  • CM&CDH安装

    千次阅读 2018-07-14 09:13:43
    笔者当时自己装CM&amp;amp;amp;amp;amp;amp;CDH看了不下10篇博客,重装集群不下...CDH安装需要的准备事项: 1、Cloudera Manager安装包(rpm包) 2、CDH的安装包 3、集群 就这俩个,有的博客还介绍到要用到m...
  • Hadoop之CDH安装

    万次阅读 2018-03-30 12:14:51
    1. 离线数据存储及查询环境部署 离线数据的存储与查询主要是以hadoop为中心的技术栈,包括hive,hbase,hue,kylin等。部署hadoop的方式比较流行的主要有三种: 1. 直接部署Apache Hadoop,即手工部署,需要自己...
  • CDH超详细离线安装

    2020-04-09 09:13:27
    简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率 ...
  • 最详细的CDH安装攻略

    千次阅读 2018-05-03 17:34:19
    ·安装CDH的准备 ·建立CM数据库 ·通过CM部署CDH ·启动各个节点的cloudra-scm-agent与主节点的CM ·安装各节点的CDH ·错误与问题汇总 ·Yum安装错误 ·28, 'Connection timed out after 3鈻[6...
  • CDH安装

    2019-11-04 20:45:33
    CDH安装 啥也别说了,开始 需要先安装Linux、 和 mysql 安装包的下载 Cloudera Manager下载地址: http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos6-cm5.16.1_x86_64.tar.gz CDH安装包地址 ...
  • 安装CDH的超详细步骤

    千次阅读 2017-09-11 10:31:11
    一、准备工作 1、下载安装包,规划三台机器 Cloudera Manager 5.9... CDH5.9 主文件http://archive-primary.cloudera.com/cdh5/parcels/5.9.0.
  • CDH详细安装教程

    2018-08-02 14:56:47
    文档为CDH安装教程,代码为5.4.3版本,同样适用于新版本的安装,下载相应包即可按步骤安装。本人安装centos7+CDH5.12.1(3台虚拟机)成功,文档含安装过程中遇到的问题及解决方法,共勉。
  • CDH安装

    2016-08-24 11:42:17
    1、 yum update 2、yum remove Java* 3、vim /etc/selinux/config SELINUXTYPE=disabled 4、vim /etc/sysctl.conf 增加: vm.swappiness=0 5、vim /etc/hosts 配置主机名,域名, 主机名对应IP 不能是...
  • CDH安装phoenix

    2019-05-29 11:33:28
    CDH安装phoenix 1.背景 ​ base 提供很方便的shell脚本以及java API等方式对Hbase进行操作,但是对于很对已经习惯了关系型数据库操作的开发来说,有一定的学习成本,如果可以像操作mysql等一样通过sql实现对Hbase...
  • CDH安装Geomesa

    2018-11-06 22:13:00
    在前面的文章中,楼主介绍过Geomesa的安装,不过都是基本...进入正题,CDH安装Geomesa: 下载安装包 第一步当然是找安装包,可以自己编译,参考我之前的文章前几步。 https://blog.csdn.net/weixin_36939535/art...
  • 在Linux下CDH安装

    2019-06-29 20:34:09
    在Linux下CDH安装 cdh搭建 ** 准备工作:相关安装包 创建虚拟机,安装CenOS7的镜象文件,主机要不低于8G,两个子机不低于3G,因为内存小了安装的集群可能没法使用。这里以两台为例。 一、基础配置 1.配置网络:采用...
  • CDH安装

    2020-05-21 23:50:56
  • CDH安装指南

    千次阅读 2016-12-13 13:53:41
    本指南提供有关安装Cloudera软件的说明。 我们使用Cloudera Manager进行安装。 一、Cloudera Manager,Cloudera Navigator和CDH 5的配置要求 本节介绍Cloudera Manager,Cloudera Navigator和CDH 5的配置要求...
  • CDH安装Phoenix

    千次阅读 2018-07-31 14:14:33
    今天我们主要讲述如何在CDH安装配置Phoenix,并会做一些使用示例。 内容概述 1.安装及配置Phoenix 2.Phoenix的基本操作 3.使用Phoenix bulkload数据到HBase 4.使用Phoenix从HBase中导出数据到HDFS 测试环...
  • CDH安装失败了,如何重新安装 1> 删除Agent节点的UUID # rm -rf /opt/cm-5.12.0/lib/cloudera-scm-agent/* 2> 清空主节点CM数据库 进入主节点的Mysql数据库,然后drop database cm; 3> 删除Agent...
  • cdh安装-httpd安装

    2015-11-19 14:12:04
    在用用cdh安装Hadoop的时候各种报错,网上查询错误提示说httpd没装,故在此做记录。  首先下载httpd的linux版压缩包,地址 http://mirrors.hust.edu.cn/apache/httpd/。 推荐版本为2.2.29,下过一个2.4.12的,后来...

空空如也

1 2 3 4 5 ... 20
收藏数 24,405
精华内容 9,762
关键字:

cdh安装