精华内容
下载资源
问答
  • Impala安装,亲测

    2014-01-14 12:58:16
    impala是一种新的实时大数据处理框架,本文档提供了详细的安装文档,亲测,保证成功。
  • Impala 安装

    2021-07-21 15:56:09
    Linux121安装Httpd服务器 #yum⽅式安装httpd服务器 ...下载Impala安装所需rpm包 Impala所需安装包需要到Cloudera提供地址下载 http://archive.cloudera.com/cdh5/repo-as-tarball/5.7.6/cdh5.7.6- centos7.t

    Linux121安装Httpd服务器

    #yum⽅式安装httpd服务器
    yum install httpd -y
    #启动httpd服务器
    systemctl start httpd
    #验证httpd⼯作是否正常,默认端⼝是80,可以省略
    http://linux121
    

    下载Impala安装所需rpm包
    Impala所需安装包需要到Cloudera提供地址下载

    http://archive.cloudera.com/cdh5/repo-as-tarball/5.7.6/cdh5.7.6-
    centos7.tar.gz
    

    移动该安装包到/opt/bigdata/software
    解压缩

    tar -zxvf cdh5.7.6-centos7.tar.gz
    

    使⽤Httpd盛放依赖包
    创建软链接到/var/www/html

    ln -s /opt/bigdata/software/cdh/5.7.6 /var/www/html/cdh57
    

    验证

    http://linux121/cdh57/
    

    在这里插入图片描述

    如果提示403 forbidden

    vim /etc/selinux/config
    将SELINUX=enforcing改为SELINUX=disabled
    修改之后要记得重启机器!!之前修改过可以不⽤修改!!
    

    修改Yum源配置⽂件

    cd /etc/yum.repos.d
    #创建⼀个新的配置⽂件
    vim local.repo
    #添加如下内容
    [local]
    name=local
    baseurl=http://linux121/cdh57/
    gpgcheck=0
    enabled=1
    

    name:对于当前源的描述
    baseurl:访问当前源的地址信息
    gpgcheck: 1 0,gpg校验
    enabled:1/0,是否使⽤当前源

    分发local.repo⽂件到其它节点

    rsync-script local.repo
    

    集群规划

    服务名称linux121linux122linux123
    impala-catalogd不安装不安装安装
    impala-statestored不安装不安装安装
    impala-server安装安装安装

    Impala⻆⾊

    impala-server:这个进程是Impala真正⼯作的进程,官⽅建议把impala-server安装在datanode节点,更靠近数据(短路读取),进程名impalad

    impala-statestored:健康监控⻆⾊,主要监控impala-server,impala-server出现异常时告知给其它impala-server;进程名叫做statestored

    impala-catalogd :管理和维护元数据(Hive),impala更新操作;把impala-server更新的元数据通知给其它impala-server,进程名catalogd

    官⽅建议statestore与catalog安装在同⼀节点上!

    具体安装步骤
    Linux123
    yum install impala -y
    yum install impala-server -y
    yum install impala-state-store -y
    yum install impala-catalog -y
    yum install impala-shell -y

    Linux121与Linux122
    yum install impala-server -y
    yum install impala-shell -y

    配置Impala
    修改hive-site.xml

    vim hive-site.xml
    <!--指定metastore地址,之前添加过可以不⽤添加 -->
    <property>
    	<name>hive.metastore.uris</name> 
    	<value>thrift://linux121:9083,thrift://linux123:9083</value>
    </property>
    <property>
    	 <name>hive.metastore.client.socket.timeout</name>
    	 <value>3600</value>
    </property>
    

    分发Hive安装包到集群节点

    rsync -r /opt/bigdata/servers/hive-2.3.7/ linux122:/opt/bigdata/servers/
    rsync -r /opt/bigdata/servers/hive-2.3.7/ linux121:/opt/bigdata/servers/
    

    Linux123启动metastore服务

    nohup hive --service metastore &
    

    启动hiveserver2服务

    nohup hive --service hiveserver2 &
    

    修改HDFS集群hdfs-site.xml
    配置HDFS集群的短路读取
    什么是短路读取?
    在HDFS中通过DataNode来读取数据。但是,当客户端向DataNode请求读取⽂件时,DataNode就会从磁盘读取该⽂件并通过TCP socket将数据发送到客户端。所谓“短路”是指Client客户端直接读取⽂件。很明显,这种情况只在客户端与数据放在同个地点(译者注:同个主机)时才有可能发⽣。短路读对于许多应⽤程序会带来重⼤的性能提升。短路读取:就是Client与DataNode属于同⼀节点,⽆需再经过⽹络传输数据,直接本地读取。

    要配置短路本地读,需要验证本机Hadoop是否有libhadoop.so;
    进⼊⼀下⽬录:
    cd $HADOOP_HOME/lib/native
    短路读取配置步骤

    1. 创建短路读取本地中转站
    #所有节点创建⼀下⽬录
    mkdir -p /var/lib/hadoop-hdfs
    
    1. 修改hdfs-site.xml
    <!--添加如下内容 -->
    <!--打开短路读取开关 -->
    <!-- 打开短路读取配置-->
    <property>
    	<name>dfs.client.read.shortcircuit</name>
    	<value>true</value>
    </property>
    <!--这是⼀个UNIX域套接字的路径,将⽤于DataNode和本地HDFS客户机之间的通信 -->
     <property>
    	 <name>dfs.domain.socket.path</name>
    	 <value>/var/lib/hadoop-hdfs/dn_socket</value>
     </property>
    <!--block存储元数据信息开发开关 -->
    <property>
    	<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
    	<value>true</value>
    </property>
    <property>
    	<name>dfs.client.file-block-storage-locations.timeout</name>
    	<value>30000</value>
    </property>
    

    注:分发到集群其它节点。重启Hadoop集群。

    #停⽌集群
    stop-dfs.sh
    start-dfs.sh
    #启动集群
    start-dfs.sh
    start-yarn.sh
    
    展开全文
  • impala安装

    2019-03-20 10:59:00
    安装规划 服务名称 Node01 Node02 Node03 impala-catalog 安装安装安装 impala-state-store 安装安装安装 ...

    安装规划

       

    服务名称

    Node01

    Node02

    Node03

    impala-catalog

    安装

    不安装

    不安装

    impala-state-store

    安装

    不安装

    不安装

    impala-server

    安装

    安装

    安装

    impala

    安装

    安装

    安装

       

    安装impala

    主节点node01执行以下命令进行安装

    [root@hadoop01 ~]# yum install impala -y

    [root@hadoop01 ~]# yum install impala-server -y

    [root@hadoop01 ~]# yum install impala-state-store -y

    [root@hadoop01 ~]# yum install impala-catalog -y

    [root@hadoop01 ~]# yum install bigtop-utils -y

    [root@hadoop01 ~]# yum install impala-shell -y

       

       

       

       

    从节点node02和node03上安装以下服务

    node02上执行安装

    [root@hadoop02 ~]# yum install impala-server -y

    [root@hadoop02 ~]# yum install bigtop-utils -y

    node03上执行安装

    [root@hadoop03 ~]# yum install impala-server -y

    [root@hadoop03 ~]# yum install bigtop-utils -y

       

    impala配置

       

    impala依赖于hive,所以首先需要进行hive的配置修改;

    [root@hadoop01 hive]# cd /usr/local/hive/conf/

    node1机器修改hive-site.xml内容如下:

    [root@hadoop01 hive]# vim hive-site.xml

    <configuration>

    <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://node1:3306/hive?

    createDatabaseIfNotExist=true</value>

    </property>

    <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    </property>

    <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

    </property>

    <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>123456</value>

    </property>

    <property>

    <name>hive.cli.print.current.db</name>

    <value>true</value>

    </property>

    <property>

    <name>hive.cli.print.header</name>

    <value>true</value>

    </property>

    <property>

    <name>hive.server2.thrift.bind.host</name>

    <value>node01</value>

    </property>

    <property>

    <name>hive.metastore.uris</name>

    <value>thrift://node01:9083</value>

    </property>

    <property>

    <name>hive.metastore.client.socket.timeout</name>

    <value>3600</value>

    </property>

    </configuration>

       

    将配置好的配置文件发送到其他两个服务器节点上

    [root@hadoop01 conf]# scp -r hive-site.xml node02:$PWD

    [root@hadoop01 conf]# scp -r hive-site.xml node03:$PWD

       

    添加mysql的jar包放入hive的lib目录下

       

    启动hive的metastore服务

    [root@hadoop01 lib]# cd /usr/local/hive/

    [root@hadoop01 hive]#nohup bin/hive --service metastore &

    注意:一定要保证mysql的服务正常启动,否则metastore的服务不能够启动

       

    所有hadoop节点修改hdfs-site.xml添加以下内容

    所有节点创建文件夹

    [root@hadoop01 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

    [root@hadoop02 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

    [root@hadoop03 ~]# mkdir -p /usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets

       

    修改所有节点的hdfs-site.xml添加以下配置,修改完之后重启hdfs集群生效

    [root@hadoop01 soft-manager]# cd /usr/local/hadoop-2.6.0-cdh5.14.0/

    [root@hadoop01 hadoop-2.6.0-cdh5.14.0]# cd etc/hadoop/

    [root@hadoop01 hadoop]# vim hdfs-site.xml

    <configuration>

    <property>

    <name>dfs.replication</name>

    <value>2</value>

    </property>

    <property>

    <name>dfs.permissions</name>

    <value>false</value>

    </property>

    <property>

    <name>dfs.blocksize</name>

    <value>134217728</value>

    </property>

       

    <property>

    <!--短路读取--就是允许impala把一些信息存储在本地磁盘上,可以加快计算的速度-->

    <name>dfs.client.read.shortcircuit</name>

    <value>true</value>

    </property>

    <property>

    <!--打开"块位置的存储的元数据信息"-->

    <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

    <value>true</value>

    </property>

    <property>

    <name>dfs.domain.socket.path</name>

    <value>/usr/local/hadoop-2.6.0-cdh5.14.0/run/hdfs-sockets/dn</value>

    <!--DatanodeDFSClient之间沟通的Socket的本地路径套接口文件-->

    </property>

    <property>

    <!---->

    <name>dfs.client.file-block-storage-locations.timeout.millis</name>

    <value>10000</value>

    </property>

       

    </configuration>

       

    将配置好的配置我呢见拷贝到其他两台服务器

    [root@hadoop01 hadoop]# scp -r hdfs-site.xml node02:$PWD

    [root@hadoop01 hadoop]# scp -r hdfs-site.xml node03:$PWD

       

    创建hadoop与hive的配置文件的连接

       

    impala的配置目录为 /etc/impala/conf

    这个路径下面需要把core-site.xml,hdfs-site.xml以及hive-site.xml拷贝到这里来,但是这里使用软连接的方式会更好。

    在node01服务器上创建三个配置文件的软连接

    [root@hadoop01 hadoop]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

    [root@hadoop01 hadoop]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

    [root@hadoop01 hadoop]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

       

    在node02服务器上创建三个配置文件的软连接

    [root@hadoop02 local]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

    [root@hadoop02 local]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

    [root@hadoop02 local]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

       

    在node03服务器上创建三个配置文件的软连接

    [root@hadoop03 ~]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/

    [root@hadoop03 ~]# ln -s /usr/local/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf

    [root@hadoop03 ~]# ln -s /usr/local/hive/conf/hive-site.xml /etc/impala/conf

       

       

    所有节点修改impala默认配置

       

    在node01服务器更改impala默认配置文件

    [root@hadoop01 hadoop]# vim /etc/default/impala

    #指定集群的CATALOG_SERVICESTATE_STORE服务地址

    IMPALA_CATALOG_SERVICE_HOST=node01

    IMPALA_STATE_STORE_HOST=node01

       

    在node02服务器更改impala默认配置文件

    [root@hadoop02 hadoop]# vim /etc/default/impala

    #指定集群的CATALOG_SERVICESTATE_STORE服务地址

    IMPALA_CATALOG_SERVICE_HOST=node01

    IMPALA_STATE_STORE_HOST=node01

       

    在node03服务器更改impala默认配置文件

    [root@hadoop03 hadoop]# vim /etc/default/impala

    #指定集群的CATALOG_SERVICESTATE_STORE服务地址

    IMPALA_CATALOG_SERVICE_HOST=node01

    IMPALA_STATE_STORE_HOST=node01

       

    修改配置如下图所示

       

       

    所有节点创建mysql的驱动包的软连接

       

    [root@hadoop01 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

    [root@hadoop02 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

    [root@hadoop03 ~]# ln -s /usr/local/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java

       

    所有节点修改bigtop的java路径

    在node01上修改bigtop的java_home路径

    [root@hadoop01 hadoop]# vim /etc/default/bigtop-utils

    export JAVA_HOME=/usr/local/java/jdk1.8.0_201

       

    在node02上修改bigtop的java_home路径

    [root@hadoop02 hadoop]# vim /etc/default/bigtop-utils

    export JAVA_HOME=/usr/local/java/jdk1.8.0_201

       

    在node03上修改bigtop的java_home路径

    [root@hadoop03 hadoop]# vim /etc/default/bigtop-utils

    export JAVA_HOME=/usr/local/java/jdk1.8.0_201

       

       

       

    启动impala服务

    在主节点node01启动以下三个服务进程

    [root@hadoop01 ~]# service impala-state-store start

    [root@hadoop01 ~]# service impala-catalog start

    [root@hadoop01 ~]# service impala-server start

       

    在从节点node02和node03上启动impala-server

    [root@hadoop02 ~]# service impala-server start

    [root@hadoop03 ~]# service impala-server start

    查看impala进程是否存在

    [root@hadoop01 ~]# ps -ef | grep impala

    [root@hadoop02 ~]# ps -ef | grep impala

    [root@hadoop03 ~]# ps -ef | grep impala

       

    注意:启动之后所有关于impala的日志默认都在/var/log/impala 这个路径下,node01机器上面应该有三个进 程,node02与node03机器上面只有一个进程,如果进程个数不对,去对应目录下查看报错日志

       

    浏览器页面访问

       

    访问impalad的管理界面http://node01:25000/

       

    访问statestored的管理界面http://node01:25010/

       

    访问catalogd 的管理界面http://node01:25020/

       

    将impala与kudu整合

       

    在每一个服务器的impala的配置文件中添加如下配置:

    在node01节点上修改配置文件impala

    [root@hadoop01 hadoop]# vim /etc/default/impala

    -kudu_master_hosts=node01:7051,node02:7051,node03:7051

    在node02节点上修改配置文件impala

    [root@hadoop02 hadoop]# vim /etc/default/impala

    -kudu_master_hosts=node01:7051,node02:7051,node03:7051

    在node03节点上修改配置文件impala

    [root@hadoop03 hadoop]# vim /etc/default/impala

    -kudu_master_hosts=node01:7051,node02:7051,node03:7051

       

       

     

       

     

       

       

    转载于:https://www.cnblogs.com/starzy/p/10563572.html

    展开全文
  • impala安装部署(绝对详细!)

    万次阅读 多人点赞 2019-12-10 21:53:40
        ...》之后,本篇博客,小菌为大家带来impala安装部署!                   文章目...

            继《impala入门,从基础到架构!!!》之后,本篇博客,小菌为大家带来impala 的安装部署!
            
            


            

    1.安装前提

            集群提前安装好hadoop,hive。

            hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。

            hadoop框架需要支持C程序访问接口,查看下图,如果有该路径下有这么文件,就证明支持C接口。
    在这里插入图片描述

    2.下载安装包、依赖包

            由于impala没有提供tar包进行安装,只提供了rpm包。因此在安装impala的时候,需要使用rpm包来进行安装。rpm包只有cloudera公司提供了,所以去cloudera公司网站进行下载rpm包即可。

            但是另外一个问题,impala的rpm包依赖非常多的其他的rpm包,可以一个个的将依赖找出来,也可以将所有的rpm包下载下来,制作成我们本地yum源来进行安装。这里就选择制作本地的yum源来进行安装。

            所以首先需要下载到所有的rpm包,下载地址如下
            http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz

    3.虚拟机新增磁盘(可选)

            由于下载的cdh5.14.0-centos6.tar.gz包非常大,大概5个G,解压之后也最少需要5个G的空间。而我们的虚拟机磁盘有限,可能会不够用了,所以可以为虚拟机挂载一块新的磁盘,专门用于存储的cdh5.14.0-centos6.tar.gz包。

            注意事项:新增挂载磁盘需要虚拟机保持在关机状态

            如果磁盘空间有余,那么本步骤可以省略不进行

    在这里插入图片描述

    3.1 关机新增磁盘

            虚拟机关机的状态下,在VMware当中新增一块磁盘。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    3.2.开机挂载磁盘

            开启虚拟机,对新增的磁盘进行分区,格式化,并且挂载新磁盘到指定目录。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    下面对分区进行格式化操作:
    mkfs -t ext4 -c /dev/sdb1
    在这里插入图片描述
    创建挂载目录:mount -t ext4 /dev/sdb1 /cloudera_data/

    在这里插入图片描述

    添加至开机自动挂载:
    vim /etc/fstab0
    /dev/sdb1 /cloudera_data ext4 defaults 0 0
    在这里插入图片描述

    4.配置本地yum源

    4.1.上传安装包解压

    使用sftp的方式把安装包大文件上传到服务器/cloudera_data目录下。
    在这里插入图片描述
    cd /cloudera_data
    tar -zxvf cdh5.14.0-centos6.tar.gz

    4.2.配置本地yum源信息

    安装Apache Server服务器
    yum -y install httpd

    service httpd start

    chkconfig httpd on

    在每个节点上下载nc服务
    yum -y install nc

            
    配置本地yum源的文件
    cd /etc/yum.repos.d

    vim localimp.repo

    [localimp]
    name=localimp
    baseurl=http://node-3/cdh5.14.0/
    gpgcheck=0
    enabled=1
    

    创建apache httpd的读取链接
    ln -s /cloudera_data/cdh/5.14.0 /var/www/html/cdh5.14.0

    确保linux的Selinux关闭

    临时关闭:
    
    [root@localhost ~]# getenforce
     Enforcing
    [root@localhost ~]# setenforce 0
    [root@localhost ~]# getenforce
    
    Permissive
    永久关闭:
    [root@localhost ~]# vim /etc/sysconfig/selinux
    SELINUX=enforcing 改为 SELINUX=disabled
    重启服务reboot
    
    

    通过浏览器访问本地yum源,如果出现下述页面则成功。

    http://192.168.100.100/cdh5.14.0/

    在这里插入图片描述
    将本地yum源配置文件localimp.repo发放到所有需要安装impala的节点。

    cd /etc/yum.repos.d/

    scp localimp.repo node-2:$PWD

    scp localimp.repo node-3:$PWD
            

    5.安装Impala

    5.1.集群规划

    大家可以根据自己的实际需求, 自由定义,这里列举的仅为一种方案!

    服务名称从节点从节点主节点
    impala-catalogNode-3
    impala-state-storeNode-3
    impala-server(impalad)Node-1Node-2Node-3

    5.2.主节点安装

    规划的主节点node-3执行以下命令进行安装:
    yum install -y impala impala-server impala-state-store impala-catalog impala-shell

    5.3.从节点安装

    在规划的从节点node-1、node-2执行以下命令进行安装:
    yum install -y impala-server
            

    6.修改Hadoop、Hive配置

            需要在3台机器整个集群上进行操作,都需要修改。hadoop、hive是否正常服务并且配置好,是决定impala是否启动成功并使用的前提。

    6.1.修改hive配置

            可在node-1机器上进行配置,然后scp给其他2台机器。

            vim /export/servers/hive/conf/hive-site.xml

    <configuration> 
      <property> 
        <name>javax.jdo.option.ConnectionURL</name>  
        <value>jdbc:mysql://node-1:3306/hive?createDatabaseIfNotExist=true</value> 
      </property>  
      <property> 
        <name>javax.jdo.option.ConnectionDriverName</name>  
        <value>com.mysql.jdbc.Driver</value> 
      </property>  
      <property> 
        <name>javax.jdo.option.ConnectionUserName</name>  
        <value>root</value> 
      </property>  
      <property> 
        <name>javax.jdo.option.ConnectionPassword</name>  
        <value>hadoop</value> 
      </property>  
      <property> 
        <name>hive.cli.print.current.db</name>  
        <value>true</value> 
      </property>  
      <property> 
        <name>hive.cli.print.header</name>  
        <value>true</value> 
      </property>  
      <!-- 绑定运行hiveServer2的主机host,默认localhost -->  
      <property> 
        <name>hive.server2.thrift.bind.host</name>  
        <value>node-1</value> 
      </property>  
      <!-- 指定hive metastore服务请求的uri地址 -->  
      <property> 
        <name>hive.metastore.uris</name>  
        <value>thrift://node-1:9083</value> 
      </property>  
      <property> 
        <name>hive.metastore.client.socket.timeout</name>  
        <value>3600</value> 
      </property> 
    </configuration>
    

    将hive安装包cp给其他两个机器。

    cd /export/servers/
    scp -r hive/ node-2:$PWD
    scp -r hive/ node-3:$PWD
            
            

    6.2.修改hadoop配置

    所有节点创建下述文件夹
    mkdir -p /var/run/hdfs-sockets

    修改所有节点的hdfs-site.xml添加以下配置,修改完之后重启hdfs集群生效

    vim etc/hadoop/hdfs-site.xml

    <property>
    		<name>dfs.client.read.shortcircuit</name>
    		<value>true</value>
    	</property>
    	<property>
    		<name>dfs.domain.socket.path</name>
    		<value>/var/run/hdfs-sockets/dn</value>
    	</property>
    	<property>
    		<name>dfs.client.file-block-storage-locations.timeout.millis</name>
    		<value>10000</value>
    	</property>
    	<property>
    		<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
    		<value>true</value>
    	</property>
    

    其中:
    dfs.client.read.shortcircuit 打开DFSClient本地读取数据的控制,
    dfs.domain.socket.path是Datanode和DFSClient之间沟通的Socket的本地路径。

    把更新hadoop的配置文件,scp给其他机器。
    cd /export/servers/hadoop-2.7.5/etc/hadoop

    scp -r hdfs-site.xml node-2:$PWD

    scp -r hdfs-site.xml node-3:$PWD

    注意:root用户不需要下面操作,普通用户需要这一步操作。

    给这个文件夹赋予权限,如果用的是普通用户hadoop,那就直接赋予普通用户的权限,例如:

    chown -R hadoop:hadoop /var/run/hdfs-sockets/

    因为这里直接用的root用户,所以不需要赋权限了。
            

    6.3.重启hadoop、hive

    在node-1上执行下述命令分别启动hive metastore服务和hadoop。

    cd /export/servers/hive

    nohup bin/hive --service metastore &

    nohup bin/hive --service hiveserver2 &
            
            
            
    cd /export/servers/hadoop-2.7.5/

    sbin/stop-dfs.sh | sbin/start-dfs.sh
            
            

    6.4.复制hadoop、hive配置文件

            impala的配置目录为/etc/impala/conf,这个路径下面需要把core-site.xml,hdfs-site.xml以及hive-site.xml。

            所有节点执行以下命令

            cp -r /export/servers/hadoop-2.7.5/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml

            cp -r /export/servers/hadoop-2.7.5/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml

            cp -r /export/servers/hive/conf/hive-site.xml /etc/impala/conf/hive-site.xml

    7.修改impala配置

    7.1.修改impala默认配置

    所有节点更改impala默认配置文件

    vim /etc/default/impala
    IMPALA_CATALOG_SERVICE_HOST=node-3
    IMPALA_STATE_STORE_HOST=node-3
    

    7.2.添加mysql驱动

    通过配置/etc/default/impala中可以发现已经指定了mysql驱动的位置名字。

    在这里插入图片描述
    使用软链接指向该路径即可(3台机器都需要执行)

    ln -s /export/servers/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java/mysql-connector-java.jar
            
            

    7.3.修改bigtop配置

    修改bigtop的java_home路径(3台机器)

    vim /etc/default/bigtop-utils
    export JAVA_HOME=/export/servers/jdk1.8.0_65
            

    8.启动、关闭impala服务

    主节点node-3启动以下三个服务进程
    service impala-state-store start

    service impala-catalog start

    service impala-server start
            

    从节点启动node-1与node-2启动impala-server
    service impala-server start
            
    查看impala进程是否存在
    ps -ef | grep impala

    在这里插入图片描述

    启动之后所有关于impala的日志默认都在/var/log/impala,如果启动失败,大家可以去日志里面找找"线索"。

    如果需要关闭impala服务 把命令中的start该成stop即可。注意如果关闭之后进程依然驻留,可以采取下述方式删除。正常情况下是随着关闭消失的。

    解决方式:
    在这里插入图片描述

    8.1.impala web ui

    当我们配置好了impala了以后,同其他组件一样,也可以通过网址来访问impala的UI页面。

    访问impalad的管理界面:http://node-3:25000/
    在这里插入图片描述

    访问statestored的管理界面:http://node-3:25010/
    在这里插入图片描述

    本次的分享就到这里了,因为impala安装部署的过程比较繁琐,也很容易出错,大家在部署的过程中一定要 细心细心再细心!遇到什么问题可以私信也可以在评论区留言。另外受益了或对大数据技术感兴趣的朋友记得关注小菌哟(^U^)ノ~YO

            
            
            
    在这里插入图片描述

    展开全文
  • impala 安装

    万次阅读 2015-11-13 14:57:14
    本文详细讲述了impala5.3.1在集群中的安装

    impala安装

    1.       部署方案

    节点类型

    Ip

    机器名称

    部署软件

    管理节点

    192.168.156.2

    Hadoop01

    Zookeeper

    journalnode

    Namenode(主) Resourcemanager(备)

     

    192.168.156.3

    Hadoop02

     

     

    Zookeeper

    Journalnode

    Namenode(备) Resourcemanager(主)

    Hive

    Impala-state-store

    impala-catalog

    数据节点

    192.168.156.4

    Hadoop03

    Datanode

    Nodemanager

    Impala-server

    Zookeeper

    Journalnode

    192.168.156.5

    Hadoop04

    Datanode

    Nodemanager

    Impala-server

    192.168.156.6

    Hadoop05

    Datanode

    Nodemanager

    Impala-server

    192.168.156.7

    Hadoop06

    Datanode

    Nodemanager

    Impala-server

    192.168.156.8

    Hadoop07

    Datanode

    Nodemanager

    Impala-server

    部署说明:

    1)  此集群中总共7台机器,hadoop01和hadoop02内存是64G,hadoop03~hadoop07都是内存为230G,所以将hadoop01,hadoop02作为管理节点,hadoop03~hadoop07作为数据节点。

    2)  impala整体分为三部分:impala-state-store,impala-catalog,impala-server。

    Ø impala-state-store在集群中主要用于协调各个运行impala的实例之间的信息关系,impala正是通过这些信息去定位查询请求所要的数据,换句话说就是主要跟踪各个impala实例的位置和状态,让各个impalad实例以集群的方式运行起来,相当于一个管理节点。

    Ø impala-catalog是同步hive和impala元数据的工具服务。

    Ø impala-server是impala的核心进程,数据的计算就靠这个进程来执行,是分布式的存在于集群中的worker进程,该进程应运行在DataNode机器上,impala-server的进程是impalad,每个impalad实例会接收、规划并调节来自ODBC或Impala Shell等客户端的查询。

     所以在集群中,将impala-state-store,impala-catalog这两个服务必须安装在hadoop集群的namenode节点上,impala-server、impala-shell服务安装在各个datanode上。

    2.       部署准备

    1)  impala的安装以及启停都必须在root用户下执行。

    2)  安装impala之前首先需要安装impala需要的依赖包,这些依赖包都必须用yum库来安装,所以在安装之前必须挂载好本地系统镜像iso,并且配置好本地yum源。

    3)  可以用“yum list | grep 包名”命令来查看yum源里有没有某些包,用“yum deplist 包名”来查看包的依赖关系。

    4)  下载impala5.3.1源码和安装包

    http://archive.cloudera.com/cdh5/cdh/5/下载impala5.3.1有源码和安装包,

    这里让下载源码是因为有可能在安装的过程中会缺少某些依赖包,我们就可以直接到源码里去找到对应版本的依赖包。

    需要下载的impala包有:

    impala-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    impala-state-store-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    impala-catalog-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    impala-udf-devel-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    impala-server-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    impala-shell-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    3.       安装依赖包,注意:这些依赖包在每一个节点上都要进行安装!

    1)  安装mysql-connector-java

    yuminstall mysql-connector-java

    2)  安装bigtop

    yuminstall bigtop-jsvc-0.6.0+cdh5.0.0+427-1.cdh5.0.0.p0.34.el6.x86_64

    yuminstall bigtop-utils-0.7.0+cdh5.0.0+0-1.cdh5.0.0.p0.36.el6.noarch

    3)  安装libevent

    yuminstall libevent*

    4)  安装redhat-lsb

    yuminstall redhat-lsb

    5)  安装python-setuptools:

    yuminstall python-setuptools

    6)  安装sasl

    yuminstall cyrus-sasl.x86_64 –y

    4.       在namenode节点(本集群中规划的是hadoop02)上安装以下impala安装包,注意:以下安装包必须在root用户下执行。

    1)  rpm -ivh impala-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm –nodeps

    2)  rpm -ivh impala-state-store-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    3)   rpm -ivh impala-catalog-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    4)  rpm -ivhimpala-udf-devel-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    5.       在每一个datanode节点安装一下impala安装包,注意:以下安装包必须在root用户下执行。

    1)        rpm -ivh impala-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm -nodeps

    2)        rpm-ivh impala-shell-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    3)        rpm-ivh impala-udf-devel-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    4)        rpm-ivh impala-server-2.1.1+cdh5.3.1+0-1.cdh5.3.1.p0.17.el6.x86_64.rpm

    6.       至此,impala的安装包已经安装到各个节点上,下来可以通过find / -name impala命令来查看每一个节点impala的安装目录,执行此命令后会输出:

    /usr/lib/impala

    /etc/default/impala

    /etc/alternatives/impala

    /etc/impala

    /var/run/impala

    /var/log/impala

    /var/lib/impala

    /var/lib/alternatives/impala

    7.       配置impala,配置时先在一台机器上将所有该配置的变量配置好之后,然后再拷贝到所有其他的机器中,我这边先在hadoop02上进行配置。

    1)        配置hdfs-site.xml

    <property>

              <name>dfs.client.read.shortcircuit</name>

              <value>true</value>

          </property>

          <property>

              <name>dfs.domain.socket.path</name>

             <value>/var/run/hadoop-hdfs/dn._PORT</value>

          </property>   

          <property>

              <name>dfs.client.file-block-storage-locations.timeout.millis</name>

              <value>10000</value>

          </property>

     

          <property>

             <name>dfs.client.read.shortcircuit.skip.checksum</name>

              <value>false</value>

          </property>

          <property>

             <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

              <value>true</value>

          </property>

          <property>

             <name>dfs.client.use.legacy.blockreader.local</name>

              <value>false</value>

          </property>

          <property>

             <name>dfs.datanode.data.dir.perm</name>

              <value>750</value>

          </property>

          <property>

             <name>dfs.block.local-path-access.user</name>

              <value>e3base</value>

          </property>

          <property>

              <name>hadoop.native.lib</name>

              <value>true</value>

              <description>Should nativehadoop libraries, if present, be used.</description>

          </property>

    上述配置中,红色字体部分都需要根据实际情况进行修改,其具体说明如下:

    Ø  dfs.client.read.shortcircuit指定的是短路读,针对本地数据,如果启用了short-circuit reads,impala就能直接读取文件系统的数据,这样就避免需要与DataNode的通信。此设置也最大限度地减少了额外的数据副本。

    Ø  dfs.datanode.hdfs-blocks-metadata.enabled指定的是数据块位置以及启用data block位置跟踪,那么impala就能快速定位data block在磁盘中位置,从而更好地利用底层磁盘。

    Ø  hadoop.native.lib指定的是本地校验和:如果启用native check-summing,那么impala会使用一个优化的native check-summing库来提升impala的性能。这个库文件在impala安装路径的lib目录下:libhadoop.so。

    2)        配置hive-site.xml

    <property>

      <name>hive.metastore.uris</name>

      <value>thrift://192.168.156.3:9083</value>

    </property>

    <property>

     <name>hive.metastore.client.socket.timeout</name>

      <value>3600</value>

      <description>MetaStore Client sockettimeout in seconds</description>

    </property>

    其中红色字体部分表示表示metostore的uri,我们的机器中将hive安装在hadoop02(192.168.156.3)上。

    3)        配置impala的参数,impala的配置文件在/etc/default/impala之中。

    IMPALA_CATALOG_SERVICE_HOST=192.168.156.3

    IMPALA_STATE_STORE_HOST=192.168.156.3

    IMPALA_STATE_STORE_PORT=24000

    IMPALA_BACKEND_PORT=22000

    IMPALA_LOG_DIR=/var/log/impala

     

    IMPALA_CATALOG_ARGS="-log_dir=${IMPALA_LOG_DIR} "

    IMPALA_STATE_STORE_ARGS="-log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPAL

    A_STATE_STORE_PORT}"

    IMPALA_SERVER_ARGS="\

        -log_dir=${IMPALA_LOG_DIR} \

       -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \

       -state_store_port=${IMPALA_STATE_STORE_PORT} \

        -use_statestore \

        -state_store_host=${IMPALA_STATE_STORE_HOST}\

        -be_port=${IMPALA_BACKEND_PORT}  \

        -mem_limit=60%"   

     

    ENABLE_CORE_DUMPS=false

     

     LIBHDFS_OPTS=-Djava.library.path=/usr/lib/impala/lib

     MYSQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

     HADOOP_HOME=/e3base/clusterApp/hadoop

     HIVE_HOME=/e3base/clusterApp/hive

    配置说明:

    l IMPALA_CATALOG_SERVICE_HOST指定的是catalog服务器的IP

    l IMPALA_STATE_STORE_HOST指定的是StateStore服务器IP

    l -mem_limit=70%指定的是impalad内存使用限制

    l LIBHDFS_OPTS=-Djava.library.path指定的是impala依赖的第三方库

    l MYSQL_CONNECTOR_JAR指定的是mysql-connector-java*路径

    l IMPALA_BIN指定的是impala可执行文件的路径

    l IMPALA_HOME指定的impala的安装路径

    l HIVE_HOME指定的是hive的安装路径

    l HBASE_HOME指定的是hbase的安装路径

    l IMPALA_CONF_DIR指定的是impala的配置路径

    l HADOOP_CONF_DIR指定的是hadoop的配置路径

    l HIVE_CONF_DIR指定的是hive的配置路径

    l HBASE_CONF_DIR指定的是hbase的配置路径

    4)        在/etc/default/bigtop-utils中设置JAVA_HOME

    exportJAVA_HOME=/usr/local/jdk1.7.0_51

    exportCLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

    export PATH=$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

    5)      进入/etc/init.d目录  修改impala-catalog操作权限,将如下设置中的红色字体由impal改成集群的用户名。

    DAEMON="catalogd"

    DESC="ImpalaCatalog Server"

    EXEC_PATH="/usr/bin/catalogd"

    EXEC_DIR=""

    SVC_USER="e3base"

    DAEMON_FLAGS="${IMPALA_CATALOG_ARGS}"

    CONF_DIR="/etc/impala/conf"

    PIDFILE="/var/run/impala/catalogd-impala.pid"

    LOCKDIR="/var/lock/subsys"

    LOCKFILE="$LOCKDIR/catalogd"

    WORKING_DIR="~/"

     

    install -d-m 0755 -o e3base -g e3base /var/run/impala 1>/dev/null2>&1 || :

    [ -d "$LOCKDIR" ] || install -d -m 0755 $LOCKDIR 1>/dev/null2>&1 || :

    6)        进入/etc/init.d目录修改impala-state-store操作权限,将如下设置中的红色字体由impal改成集群的用户名。

    DAEMON="statestored"

    DESC="ImpalaState Store Server"

    EXEC_PATH="/usr/bin/statestored"

    EXEC_DIR=""

    SVC_USER="e3base"

    DAEMON_FLAGS="${IMPALA_STATE_STORE_ARGS}"

    CONF_DIR="/etc/impala/conf"

    PIDFILE="/var/run/impala/statestored-impala.pid"

    LOCKDIR="/var/lock/subsys"

    LOCKFILE="$LOCKDIR/statestored"

    WORKING_DIR="~/"

     

    install -d-m 0755 -o e3base -g e3base /var/run/impala 1>/dev/null2>&1 || :

    [ -d "$LOCKDIR" ] || install -d -m 0755 $LOCKDIR 1>/dev/null2>&1 || :

    7)        进入/etc/init.d目录修改impala-server操作权限,将如下设置中的红色字体由impal改成集群的用户名。

    DAEMON="impalad"

    DESC="ImpalaServer"

    EXEC_PATH="/usr/bin/impalad"

    EXEC_DIR=""

    SVC_USER="e3base"

    DAEMON_FLAGS="${IMPALA_SERVER_ARGS}"

    CONF_DIR="/etc/impala/conf"

    PIDFILE="/var/run/impala/impalad-impala.pid"

    LOCKDIR="/var/lock/subsys"

    LOCKFILE="$LOCKDIR/impalad"

    WORKING_DIR="~/"

     

    install -d-m 0755 -o e3base -g e3base /var/run/impala 1>/dev/null2>&1 || :

    [ -d "$LOCKDIR" ] || install -d -m 0755 $LOCKDIR 1>/dev/null2>&1 || :

    8)        将hadoop安装目录下的hdfs-site.xml,core-site.xml拷贝到/etc/impala/conf目录下

    cp /e3base/clusterApp/hadoop/etc/hadoop/hdfs-site.xml  /etc/impala/conf

    cp /e3base/clusterApp/hadoop/etc/hadoop/core-site.xml  /etc/impala/conf

    9)        将hive安装目录下的hive-site.xml拷贝到/etc/impala/conf目录下

    cp /e3base/clusterApp/hive/conf/hive-site.xml /etc/impala/conf

    10)     将$HIVE_HOME/lib/ mysql-connector-java-5.1.20-bin.jar拷贝到/usr/share/java目录下,并将mysql-connector-java-5.1.20-bin.jar文件改名为mysql-connector-java.jar。

    cp /e3base/clusterApp/hive/lib/mysql-connector-java-5.1.20-bin.jar/usr/share/java 

    mv mysql-connector-java-5.1.20-bin.jar mysql-connector-java.jar

    11)     写脚本更换impala依赖库

    cd/usr/lib/impala/lib

    rm-rf libh*

    cp/e3base/clusterApp/hadoop/lib/native/libh* .

    rm-rf hadoop*

    rm-rf hive*

    rm-rf hbase*

    rm-rf zookeeper*

     

    HADOOP_LIB=/e3base/clusterApp/hadoop/share/hadoop

    HIVE_LIB=/e3base/clusterApp/hive/lib

    IMPALA_PATH=/usr/lib/impala/lib

     

    cp$HADOOP_LIB/common/lib/hadoop-annotations-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-annotations.jar

    cp$HADOOP_LIB/common/lib/hadoop-auth-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-auth.jar

    cp$HADOOP_LIB/common/hadoop-common-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-common.jar

    cp$HADOOP_LIB/hdfs/hadoop-hdfs-2.5.0-cdh5.3.1.jar $IMPALA_PATH/hadoop-hdfs.jar

    cp$HADOOP_LIB/mapreduce/hadoop-mapreduce-client-core-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-map

    reduce-client-core.jar

    cp$HADOOP_LIB/yarn/hadoop-yarn-api-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-yarn-api.jar

    cp$HADOOP_LIB/yarn/hadoop-yarn-common-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-yarn-common.jar

    cp $HADOOP_LIB/yarn/hadoop-yarn-server-common-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-yarn-

    server-common.jar

    cp$HADOOP_LIB/yarn/hadoop-yarn-server-resourcemanager-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-yarn-

    server-resourcemanager.jar

    cp $HADOOP_LIB/yarn/hadoop-yarn-server-web-proxy-2.5.0-cdh5.3.1.jar$IMPALA_PATH/hadoop-yarn-

    server-web-proxy.jar

     

    cp$HIVE_LIB/hive-ant-0.13.1-cdh5.3.1.jar $IMPALA_PATH/hive-ant.jar

    cp $HIVE_LIB/hive-common-0.13.1-cdh5.3.1.jar$IMPALA_PATH/hive-common.jar

    cp $HIVE_LIB/hive-exec-0.13.1-cdh5.3.1.jar$IMPALA_PATH/hive-exec.jar

    cp$HIVE_LIB/hive-hbase-handler-0.13.1-cdh5.3.1.jar$IMPALA_PATH/hive-hbase-handler.jar

    cp $HIVE_LIB/hive-jdbc-0.13.1-cdh5.3.1.jar$IMPALA_PATH/hive-jdbc.jar

    cp $HIVE_LIB/hive-metastore-0.13.1-cdh5.3.1.jar$IMPALA_PATH/hive-metastore.jar

     

    cp $HIVE_LIB/hive-serde-0.13.1-cdh5.3.1.jar$IMPALA_PATH/hive-serde.jar

    cp$HIVE_LIB/hive-service-0.13.1-cdh5.3.1.jar $IMPALA_PATH/hive-service.jar

    cp$HIVE_LIB/hive-shims-common-0.13.1-cdh5.3.1.jar $IMPALA_PATH/hive-shims-common.jar

    cp$HIVE_LIB/hive-shims-common-secure-0.13.1-cdh5.3.1.jar$IMPALA_PATH/hive-shims-common-secure.jar

    cp $HIVE_LIB/hive-shims-0.13.1-cdh5.3.1.jar$IMPALA_PATH/hive-shims.jar

    脚本说明:

    脚本刚开始进入/usr/lib/impala/lib目录,这个目录是impala依赖库的目录

    然后删除/usr/lib/impala/lib目录下的libh开头的所有包

    然后删除/usr/lib/impala/lib目录下的以hadoop开头的所有包

    然后删除/usr/lib/iimpala/lib目录下的以hive开头的所有包

    然后删除/usr/lib/impala/lib目录下的以hbase开头的所有包

    然后删除/usr/lib/impala/lib目录下的以zookeeper开头的所有包

     

    然后把集群中hadoop安装目录下的$HADOOP_HOME/lib/native目录下的所有libh开头的包,拷贝/usr/lib/impala/lib目录下

    然后设置hadoop的依赖包的源目录/e3base/clusterApp/hadoop/share/hadoop

    然后设置hive的依赖包的源目录/e3base/clusterApp/hive/lib

    然后设置impala的依赖包的目录/usr/lib/impala/lib

     

    然后分别把hadoop源目录下的文件依次拷入impala依赖包目录

    然后分别把hive源目录下的文件依次考入impala依赖包目录下

    在此要注意两点:

    l  安装时拷贝了这个脚本之后要根据hadoop和hive依赖包源目录中的文件的版本,对此脚本进行更改。

    l  此操作不能将所有的依赖包全部包含进去,所以在最后启动时,要到impala日志目录/usr/log/impala中去查看错误日志,在错误日志中会显示到底是哪个包没有被拷贝进来,找到这个包名之后,就到之前下载的impala源码包里去找,找到之后拷贝进/usr/lib/impala/lib,直到impala能够正常启动!这点特别重要!

    12)     创建/var/run/hadoop-hdfs,/var/run/impala文件夹

    mkdir /var/run/hadoop-hdfs 

    mkdir /var/run/impala

    13)    给文件夹赋权限

    chown -R e3base:e3base /var/log/impala

    chown -Re3base:e3base /var/run/hadoop-hdfs/

    chown -Re3base:e3base /var/run/impala

    8.       以上的配置都是在hadoop02节点上的,现在需要依次把这些配置好的文件拷贝到hadoop03

    到hadoop07节点上,在此配置时由于文件比较多,也需要用脚本来完成,其内容如下:

    forf in /etc/default/impala /etc/default/bigtop-utils/etc/impala/conf/hdfs-site.xml /etc/impala/conf/core-site.xml/etc/impala/conf/hive-site.xml /usr/share/java/mysql-connector-java.jar /etc/init.d/impala-state-store/etc/init.d/impala-server /etc/init.d/impala-catalog /var/run/hadoop-hdfs/var/log/impala /etc/default/hadoop; do scp $fhadoop03:$f;done

    此脚本运行在hadoop02节点之上,用于把hadoop02之上我们配置好的impala相关文件拷贝到hadoop03节点之上。

    剩下的操作就是依次更改脚本中的hadoop03hadoop04,hadoop05,hadoop06,hadoop07就行了。

    9.       依次更改hadoop03~hadoop07上的impala依赖库,在此操作中,首先要删除每一个节点impala依赖库目录里的所有文件,然后再把hadoop02节点里的已经配置好的依赖库拷贝过去,具体操作如下所示:

    l  在hadoop03~haoop07之上依次执行删除依赖库操作

    rm –rf /usr/lib/impala/lib/*

    l  在hadoop02节点上把impala依赖库里的文件依次拷入hadoop03~hadoop07之中

    scp /usr/lib/impala/lib/* hadoop03:/usr/lib/impala/lib/

    scp /usr/lib/impala/lib/* hadoop04:/usr/lib/impala/lib/

    scp /usr/lib/impala/lib/* hadoop05:/usr/lib/impala/lib/

    scp /usr/lib/impala/lib/* hadoop06:/usr/lib/impala/lib/

    scp /usr/lib/impala/lib/* hadoop07:/usr/lib/impala/lib/

    10.     启动impala

    1)        在启动impala之前首先要确保已经启动了hive  

    nohup hive --service metastore &

    nohup hive --service hiveserver2 &

    2)        在hadoop02上启动statestore,catalog

    /etc/init.d/impala-state-storestart

    /etc/init.d/impala-catalogstart

    3)        在hadoop03~hadoop07上依次启动server

    /etc/init.d/impala-server start

    11.  停止impala

    1)        在hadoop03~hadoop07上依次停止server

    /etc/init.d/impala-server stop

    2)        在hadoop02上停止statestore,catalog

    /etc/init.d/impala-catalog stop

    /etc/init.d/impala-state-store stop

     

     

     

     

     

     

     

       

     

     

    展开全文
  • Apache Impala : Impala安装部署

    千次阅读 2019-12-10 14:58:08
    Impala安装部署 安装前提: 集群提前安装好hadoop,hive。 hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。 hadoop框架需要支持C程序访问接口,查看下图,如果有该路径下有这么文件...
  • Apache Impala安装部署

    千次阅读 2019-12-10 08:10:11
    Apache Impala安装部署 1.安装前提 集群提前安装好hadoop,hive。 hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。 hadoop框架需要支持C程序访问接口,查看下图,如果有该路径下有...
  • Impala>Impala安装部署

    2019-12-10 21:45:43
    文章目录1.安装前提2.下载安装包、依赖包3.虚拟机新增磁盘(可选)4....hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。 hadoop框架需要支持C程序访问接口,查看下...
  • python-impala安装教程

    千次阅读 2019-08-16 10:35:02
    使用pip install,安装步骤如下: (1) pip install six (2) pip install bit_array (3) pip install thriftpy (4) pip install thrift_sasl == 0.2.1 (5) pip install impyla 其中,在安装第四步的时候报错...
  • impala安装与添加

    2014-12-18 15:39:21
    impala安装与添加
  • Impala安装部署(超详细!)

    千次阅读 2019-12-10 21:52:49
    Impala安装部署 温馨提示:建议安装之前先给集群快照。(安装Impala时,Impala会重新安装hadoop等,可能导致集群混乱) 1.安装前提 集群提前安装好hadoop,hive。 hive安装包scp在所有需要安装impala的节点上,因为...
  • CDH impala安装使用

    2020-06-28 21:19:38
    1 CDH 安装impala 1.1 直接选择 cluster, 服务添加服务即可。 1.2 安装时,注意组件impalad 基本同datanode一致。 而 catalogd,statestored不限。 2 组件 2.1 Impala Daemon  impalad是Impala的核心进程...
  • Centos Impala安装

    千次阅读 2018-07-17 20:24:29
    Impala安装 安装包下载:http://archive.cloudera.com/beta/impala-kudu/redhat/。根据你的系统选对应的包哈   下载impala-kudu 1.1.0版本相关的rpm包: ...
  • 1.下载impala所需的rpm包 bigtop-utilsrpm包下载http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.8.3/RPMS/noarch/ impala rpm包下载地址...
  • Apache Impala 安装部署

    千次阅读 2019-12-11 08:06:23
    2: hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。 3:hadoop框架需要支持C程序访问接口,查看下图,如果有该路径下有这么文件,就证明支持C接口 安装部署 : 1、软件包的...
  • impala安装教程--全网最详细可靠

    万次阅读 2018-04-08 22:00:02
    第一步:下载相关rpm包 下载地址:http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.14.0/RPMS/x86_64/ 需要下载jar包如下: impala-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el6.x86_64.rpm impala-...
  • Impala安装

    2019-01-29 13:35:39
    安装和配置Hive Metastore是Impala的要求。没有Metastore数据库,Impala不起作用 下载地址: http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.13.1/RPMS/x86_64/ http://archive.cloud...
  • Impala安装部署

    2021-01-30 21:19:00
    Impala安装部署 安装前提 集群提前安装好hadoop,hive。 hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。 hadoop框架需要支持C程序访问接口,查看下图,如果有该路径下有这么文件,就...
  • kudu-impala安装教程

    千次阅读 2018-04-02 15:20:09
    安装apache的impala-kudu:话不多说,直入主题:安装环境说明: linux + Centos6.5系统 主节点:mrj001 192.168.137.6 从节点:mrj002 192.168.137.7 从节点:mrj003 192.168.137.8第一步:下载安装包...
  • impala安装

    2018-04-28 12:11:16
    Impala的最大特点也是最大卖点就是它的快速,它是基于Hive的大数据实时分析查询引擎,这里详细介绍了如何安装
  • centos7下的 impala安装及与hive集成

    千次阅读 2019-02-27 17:40:37
    安装 impala-kudu-2.7.0 (主从机都要安装)  rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps  3.3.安装 impala-kudu-catalog (主机安装) rpm -ivh impala-kudu-...
  • Impala 安装与入门案例

    2020-11-18 19:41:08
    hive需要在所有的Impala安装的节点上⾯都要有,因为Impala需要引⽤Hive的依赖包 hadoop的框架需要⽀持C程序访问接⼝,查看下图,如果有该路径有.so结尾⽂件,就证明⽀持C 接⼝。 2.1.2 准备Impala的所有依赖包 ...
  • impala 安装包依赖于多个第三方包,并且相互之间存在依赖关系,所以不能简单的通过pip intall inpala进行安装 安装顺序 1、pip install six 2、pip install bit_array 3、pip install thriftpy 4、pip install ...
  • Impala-cdh集群安装部署

    2018-09-18 11:12:18
    由于Impala的版本是CDH的,所以安装Impala的涉及到的Hive、Hadoop、Spark、Hbase等环境也要统一使用CDH版本。 本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的(cdh版本的tar包安装...
  • Impala基本介绍 impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具, impala是参照...
  • Impala 安装部署

    2020-12-10 17:27:40
    Impala 安装部署安装前提下载安装包、依赖包虚拟机新增磁盘(可选)配置本地yum源安装Impala修改impala配置 安装impala后hadoop,hive等会自动重新安装 原有数据无法使用 谨慎选择是否先准备快照 安装impala后hadoop...
  • 熟悉Hive的同学肯定知道,Hive官方提供了get_json_object函数用于处理json字符串,但是Impala官方并没有提供类似的方法,好在是有第三方实现了一个类似的udf扩展,只需进行编译安装后,就可以在Impala中处理json字符...
  • 安装CDH的kudu第一步:第二步:下载地址:http://archive.cloudera.com/kudu/parcels/latest/KUDU-1.2.0-1.cdh5.10.0.p0.55-el6.parcelparcel-repo文件夹KUDU-1.3.0-1.cdh5.11.0.p0.12-el6.parcelKUDU-1.3.0-1.cdh...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,247
精华内容 2,898
关键字:

impala安装