精华内容
下载资源
问答
  • 在高可用的集群(三台虚拟机中配置hive
    2021-01-14 22:31:05

    提供了两种方案:

    一、第一种

    metastore database

    <configuration>
     <property>
         <name>javax.jdo.option.ConnectionURL</name>
         <value>jdbc:mysql://nodefive/hive?createDatabaseIfNotExist=true</value>
     </property>
     <property>
         <name>javax.jdo.option.ConnectionDriverName</name>
         <value>com.mysql.jdbc.Driver</value>
     </property>
      <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>root</value>
     </property>
      <property>
         <name>javax.jdo.option.ConnectionPassword</name>
         <value>12345</value>
     </property>
    </configuration>
    

    第二种

    图例说明(图片来源自同学)
    在这里插入图片描述

    1.选取一台虚拟机(此处为nodeone)作为metastore server

    并配置hive-site.xml配置文件

    vi hive-site.xml
    
    <configuration>
     <property>
         <name>javax.jdo.option.ConnectionURL</name>
         <value>jdbc:mysql://nodethree/hive?createDatabaseIfNotExist=true</value>
     </property>
     <property>
         <name>javax.jdo.option.ConnectionDriverName</name>
         <value>com.mysql.jdbc.Driver</value>
     </property>
      <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>root</value>
     </property>
      <property>
         <name>javax.jdo.option.ConnectionPassword</name>
         <value>12345</value>
     </property>
      <property>
         <name>hive.metastore.thrift.bind.host</name>
         <value>nodeone</value>
     </property>
    </configuration>
    

    配置完成后启动服务

    bin/hive --service metastore
    

    2.在另一台虚拟机(此处为nodetwo)上配置hive-site.xml文件

    如下:

    <configuration>
      <property>
         <name>hive.metastore.uris</name>
         <value>thrift://nodeone:9083</value>
     </property>
    </configuration>
    

    启动并使用hive

    hive
    

    3.在另外的一台机子(nodethree)上安装MySQL
    其账户为root 密码是12345

    附:
    在配置过程中,遇到了以下报错

    21/01/14 05:38:27 WARN conf.HiveConf: HiveConf of name hive.metastore.thrift.bind.host does not exist
    javax.jdo.JDOFatalInternalException: The java type java.lang.Integer (jdbc-type="", sql-type="") cant be mapped for this datastore. No mapping is available.
    
    更多相关内容
  • (1)把 Hive 的安装包 apache-hive-3.1.2-bin.tar.gz 上传到 Linux 虚拟机的/opt/download目录下, 解压 $ wget https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz $ tar -zxvf ...

    Hive 安装

    GettingStarted

    Manual

    1.安装及配置 Hive

    (1)把 Hive 的安装包 apache-hive-3.1.2-bin.tar.gz 上传到 Linux 虚拟机的/opt/download目录下, 解压

    $ wget https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
    $ tar -zxvf apache-hive-3.1.2-bin.tar.gz
    

    (2)将解压的文件夹移动到/opt/pkg下,同时改名为hive

    $ mv apache-hive-3.1.2 /opt/pkg/hive
    

    (3)修改/etc/profile.d/env.sh 文件,添加环境变量。

    $ vim /etc/profile.d/env.sh 
    

    添加以下内容。

    # HIVE_HOME 3.1.2 
    export HIVE_HOME=/opt/pkg/hive 
    export PATH=PATH:HIVE_HOME/bin 
    

    执行以下命令使环境变量生效。

    $ source /etc/profile.d/env.sh
    

    (4)进到/opt/module/hive/lib 目录下执行以下命令,解决日志 jar 包冲突。

    $ cd /opt/module/hive/lib	
    $ mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak
    

    (5)解决guava版本低于hadoop版本的问题

    $ cd /opt/module/hive/lib
    $ mv guava-19.0.jar guava-19.0.jar.bak
    $ ln -s /opt/pkg/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar ./
    

    删除或改名lib下较低版本的guava的jar包

    从hadoop目录将guava的jar包拷贝或者软链接过来

    如果不处理,初始化MySQL元数据的时候就会出错。

    2.驱动复制

    (1)将mysql-connector-java-5.1.27.tar 驱动包拷贝到Hive的lib目录。

    $ cp mysql-connector-java-5.1.27.jar /opt/pkg/hive/lib/
    

    3.配置

    3.1 启动dfs+yarn

    #定位
    cd /opt/pkg/hadoop
    #启动dfs+yarn
    sbin/start-all.sh
    

    3.2 创建HDFS目录并赋予权限

    hdfs dfs -mkdir -p /opt/pkg/hive/warehouse
    hdfs dfs -mkdir -p /opt/pkg/hive/tmp
    hdfs dfs -mkdir -p /opt/pkg/hive/log
    hdfs dfs -chmod g+w /opt/pkg/hive/warehouse
    hdfs dfs -chmod 777 /opt/pkg/hive/tmp
    hdfs dfs -chmod g+w /opt/pkg/hive/log
    

    3.3 配置hive-env.sh

    cp hive-env.sh.template hive-env.sh
    
    vi hive-env.sh
    
    export JAVA_HOME=/opt/pkg/jdk1.8.0_211
    export HADOOP_HOME=/opt/pkg/hadoop-2.7.3
    export HIVE_HOME=/opt/pkg/hive
    # HADOOP_HOME=${bin}/../../hadoop
    
    # Hive Configuration Directory can be controlled by:
    export HIVE_CONF_DIR=$HIVE_HOME/conf
    
    # Folder containing extra ibraries required for hive compilation/execution can be controlled by:
    export HIVE_AUX_JARS_PATH=/opt/pkg/hive/lib/*
    
    vim hive-site.xml
    
    <configuration>
      <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
      <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
      <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
      <!-- Hive Execution Parameters -->
      <property>
        <name>hive.exec.scratchdir</name>
        <value>/opt/pkg/hive/tmp</value>
      </property>
    
      <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/opt/pkg/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
      </property>
    
     <property>
        <name>hive.querylog.location</name>
        <value>/opt/pkg/hive/log</value>
        <description>Location of Hive run time structured log file</description>
      </property>
    
     <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://:192.168.220.129/hive?createDatabaseIfNotExist=true</value>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
      </property>
    </configuration>
    
    

    配置详情见官方文档

    4.初始化数据库

    初始化 Hive 数据库。

    schematool -dbType mysql -initSchema
    

    5.启动 Hive

    (1)Hive 2.x 以上版本,要先启动 Metastore 和 Hiveserver2 服务,否则会报错。

    FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 
    

    (2)在/opt/pkg/hive/bin 目录下编写 Hive 服务启动脚本,在脚本中启动 Metastore 和 Hiveserver2 服务。

    [hadoop@hadoop100 bin]$ vi /opt/pkg/hive/bin/hive-services.sh
    
    #!/bin/bash
    HIVE_LOG_DIR=$HIVE_HOME/logs
    
    mkdir -p $HIVE_LOG_DIR
    
    #检查进程是否运行正常,参数1为进程名,参数2为进程端口
    function check_process()
    {
        pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
        ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
        echo $pid
        [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
    }
    
    function hive_start()
    {
        metapid=$(check_process HiveMetastore 9083)
        cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
        cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
        [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
        server2pid=$(check_process HiveServer2 10000)
        cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
        [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
    }
    
    function hive_stop()
    {
        metapid=$(check_process HiveMetastore 9083)
        [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
        server2pid=$(check_process HiveServer2 10000)
        [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
    }
    
    case $1 in
    "start")
        hive_start
        ;;
    "stop")
        hive_stop
        ;;
    "restart")
        hive_stop
        sleep 2
        hive_start
        ;;
    "status")
        check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
        check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
        ;;
    *)
        echo Invalid Args!
        echo 'Usage: '$(basename $0)' start|stop|restart|status'
        ;;
    esac
    
    

    (3)增加脚本执行权限。

    $ sudo chmod +x hive-services.sh 
    

    (4)启动 Hive 后台服务。

    $ hive-services.sh start 
    

    (5)查看 Hive 后台服务运行情况。

    需要多试几次,因为服务从启动直到进程出现需要等待约一分钟左右时间。

    $ hive-services.sh status 
    Metastore 服务运行正常 
    HiveServer2 服务运行正常 
    

    (6)启动 Hive 客户端。

    [hadoop@master bin]$ hive
    which: no hbase in (/opt/rh/llvm-toolset-7.0/root/usr/bin:/opt/pkg/hive/bin:/opt/pkg/flume/bin:/opt/pkg/kafka/bin:/opt/pkg/zookeeper/bin:/opt/pkg/hadoop/bin:/opt/pkg/hadoop/sbin:/opt/pkg/maven/bin:/sbin:/opt/pkg/java/bin:/opt/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/hadoop/.local/bin:/home/hadoop/bin)
    Hive Session ID = 2b898c67-6677-4e98-8e23-0d70d358d206
    
    Logging initialized using configuration in jar:file:/opt/pkg/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true
    Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
    Hive Session ID = 8aa334ad-253c-4974-bdb2-971b22bd3afb
    hive (default)>
    
    

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2ckNBuwj-1617159984769)(C:\Users\时年\AppData\Roaming\Typora\typora-user-images\image-20210331110536826.png)]

    6. 日志

    hive和beeline工具的日志默认在/tmp/<操作用户名>下生成,

    如果希望执行命令时实时看到日志,也可以创建conf/hive-log4j2.properties以及conf/beeline-log4j2.properties(有模板)

    • 日志存放位置可以修改

      • property.hive.log.dir = /opt/pkg/hive/logs/
        property.hive.log.file = hive.log
    • 默认日志级别是info,会导致hive客户端中输出很多不必要的信息

      • 但是修改级别后并没有效果

    hive服务器日志可以查看

    $ tail -F /opt/pkg/hive/logs/hiveServer2.log
    

    7. 异常处理

    1. Hive启动hiveserver2报错:Could not open client transport with JDBC Uri解决方案

      报错信息:

      Error: Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000/hive_metadata;user=hadoop: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)
      Beeline version 2.3.3 by Apache Hive
      

      原因:hiveserver2增加了权限控制,需要在hadoop的配置文件中配置代理用户

      解决方案:

      关闭dfs和yarn

      $ stop-dfs.sh
      $ stop-yarn.sh
      

      在hadoop的core-site.xml中添加如下内容(其中hadoop为允许作为代理用户的用户及用户组)

      <property>
          <name>hadoop.proxyuser.hadoop.hosts</name>
          <value>*</value>
      </property>
      <property>
          <name>hadoop.proxyuser.hadoop.groups</name>
          <value>*</value>
      </property>
      

      重启dfs

      $ start-dfs.sh
      

      重启yarn

      $ start-yarn.sh
      

      重新连接Hive

      beeline -u jdbc:hive2://hadoop100:10000 -n hadoop -p
      
    展开全文
  • 虚拟机Hive安装

    千次阅读 2020-08-28 18:48:00
    Hive安装以及运行 1、将下载好的hive安装包解压到你想...2、需要我们在安装好的hive目录的conf目录下面创建一个hive-site.xml文件,编写该配置文件。 3、将mysql-java驱动拷贝到安装好的hive的lib目录下面。 4、配置

    Hive安装以及运行


    1、将下载好的hive安装包解压到你想要安装的虚拟的某个路径下面,然后再重命名以下。

    • tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop/
    • mv hive-1.1.0-cdh5.14.2.tar.gz/ hive110

    在这里插入图片描述
    2、需要我们在安装好的hive目录的conf目录下面创建一个hive-site.xml文件,编写该配置文件。

    在这里插入图片描述

    3、将mysql-java驱动拷贝到安装好的hive的lib目录下面。
    在这里插入图片描述
    4、配置hive的环境变量,然后激活环境变量。
    在这里插入图片描述

    5、进入安装好的hive的bin目录下面,初始化hive。

    • ./schematool -dbType mysqll -initSchema

    :安装hive时要求虚拟机上已经安装了mysql数据库,并且在初始化的时候,要求mysql处于登录状态。

    6、启动hive

    • 正常访问hive
    [root@vmmaster bin]# ./hive
    
    • beeline良好格式访问hive
    [root@vmmaster bin]# nohup hiveserver2 >/dev/null 2>&1 $
    [root@vmmaster bin]# beeline -u jdbc:hive2://168.192.88.200:10000

    在这里插入图片描述

    7、当我们在hive中执行命令时,会先产生一些日志信息,不便于查看结果,我们可以通过编辑hive-site.xml文件,来取消日志信息。在配置文件中添加以下几个配置项即可。
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 文章目录windows虚拟机配置Hadoop Hive(二)一 利用Xftp将软件包上传到Linux![在这里插入图片描述](https://img-blog.csdnimg.cn/20200316202803273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,...

    windows虚拟机中配置Hadoop Hive(二)

    完全分布式:Hadoop守护进程运行在一个集群上
    伪分布式:在单节点集群上运行Hadoop,其中所有的守护进程都运行在同一台机器上.对机器的消耗更小一点.

    一 利用Xftp将软件包上传到Linux中

    在这里插入图片描述

    我们不要用root用户登录,使用Hadoop用户登录,将软件传输到Hadoop的目录下:
    在这里插入图片描述
    在xshell 中 检查一下是否有这几个软件:
    在这里插入图片描述

    二 配制免密登录

    免密码登录的原因:如果集群不是伪分布式的,那么在存文件的时候,有多份,比如存了三份,那么在下载的时候他会从不同的块下载,你要下载node101的文件,需要先进入才能下载.如果不配置免密登录,需要先输入密码,三个结点的话每次输密码我可以接受,但是如果3个文件10000个块,块在不同的机器上,你要输入这么多密码,心里是不是很崩溃.

    • 1 切换到root用户:su - root
    • 2 关闭selinux: vim /etc/selinux/config 按i进入插入模式, SELINUX=disabled
      在这里插入图片描述

    esc :wq 保存并退出.clear清屏

    • 3 切换到Hadoop用户:su - hadoop
    • 4 进入Hadoop的家目录: cd
      在这里插入图片描述
      进入Hadoop家目录后,输入下面的命令:
      注:ssh的意思登录到其他机器的意思,我现在是node100,要登录到101,在一个集群上是可以登录的,登录后相当于可以进入另一台电脑上了.
      ssh-keygen -t rsa [输入完后连按4个回车]
      ssh node100 [yes,输入hadoop用户的密码]
      ssh-copy-id node100 [输入hadoop用户的密码]

    检查是否成功:ssh node100 不需要密码即可登录

    三 解压软件包到/opt/module

    先切换到root,在opt里面创建一个文件夹module:
    在root用户下切换到opt文件夹:cd /opt/
    创建module文件夹:mkdir module

    更改所有者和所有组给Hadoop:
    chgrp hadoop module/
    chown hadoop module/
    在这里插入图片描述
    在这里插入图片描述
    回到的家目录开始解压:
    cd
    tar -zxvf ./jdk-8u181-linux-x64.tar.gz -C /opt/module/
    tar -zxvf ./hadoop-2.7.3.tar.gz -C /opt/module/
    tar -zxvf ./apache-hive-3.1.1-bin.tar.gz -C /opt/module/
    在这里插入图片描述

    四 编辑环境变量:

    cd 进入家目录,这个.bash_profile是一个隐藏文件
    vim ~/.bash_profile
    在这里插入图片描述

    在文件末尾(光标移到最后一行,按一个小写的o)添加
    JAVA_HOME=/opt/module/jdk1.8.0_181
    HADOOP_HOME=/opt/module/hadoop-2.7.3
    HIVE_HOME=/opt/module/apache-hive-3.1.1-bin
    PATH= P A T H : PATH: PATH:HOME/bin: J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:HADOOP_HOME/bin: H A D O O P H O M E / s b i n : HADOOP_HOME/sbin: HADOOPHOME/sbin:HIVE_HOME/bin

    export JAVA_HOME
    export HADOOP_HOME
    export HIVE_HOME
    export PATH
    在这里插入图片描述
    esc :wq

    五 重新加载该文件 使环境变量生效

    在Hadoop家目录
    source ~/.bash_profile
    验证是否正确:
    java -version
    hadoop version
    在这里插入图片描述

    六 修改hadoop的配置文件:

    在Hadoop用户下:
    cd /opt/module/hadoop-2.7.3/etc/hadoop
    在这里插入图片描述
    etc是存放配置文件的.我们进入etc看看:
    在这里插入图片描述
    有一个Hadoop文件,进去:
    在这里插入图片描述
    我们需要修改其中的几个:复制粘贴以下命令
    1.vim ./hadoop-env.sh
    在这里插入图片描述
    将光标地方的代码修改(或者注释)如下:注意jdk1.8.0_181要与你的版本对应,解压后的文件名!
    export JAVA_HOME=/opt/module/jdk1.8.0_181
    在这里插入图片描述
    :wq

    2.vim ./mapred-env.sh
    export JAVA_HOME=/opt/module/jdk1.8.0_181
    在这里插入图片描述

    3.vim ./yarn-env.sh
    export JAVA_HOME=/opt/module/jdk1.8.0_181
    在这里插入图片描述

    4.vim ./core-site.xml
    在倒数第一行和倒数第二行中间, 按一个o键
    在这里插入图片描述

        <!-- 指定HDFS中NameNode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node100:9000</value>
        </property>
    
        <!-- 指定Hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoopdata</value>
        </property>
    

    复制粘贴,空白也要复制,中间的Node100要根据自己的机器名字更改:
    在这里插入图片描述

    5.vim ./hdfs-site.xml

        <!-- 指定HDFS副本的数量 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
    
        <!-- 指定Hadoop辅助名称节点主机配置 -->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node100:50090</value>
        </property>
    

    在这里插入图片描述

    6.cp ./mapred-site.xml.template ./mapred-site.xml
    先复制过去,然后编辑复制后的文件
    在这里插入图片描述
    vim ./mapred-site.xml (z注意一定要先在指定位置上按i才能编辑)

    <!-- 指定MR运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    

    在这里插入图片描述

    7.vim ./yarn-site.xml

        <!-- Reducer获取数据的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
    
        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>node100</value>
        </property>
    
        <!-- 关闭虚拟内存检查 -->
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
    

    在这里插入图片描述
    8.vim ./slaves
    删除(正常模式下小写dd)localhost,改为node100
    在这里插入图片描述
    node100

    九、格式化hadoop集群
    注意:这个命令只能格式化一次,再一次格式化就会出问题了!
    在node100这台机器上执行:hdfs namenode -format

    格式化好后就可以启动或者关闭Hadoop集群了

    十、启动/关闭hadoop集群
    在node100这台机器上执行启动:start-all.sh
    在这里插入图片描述
    查看是否成功运行: jps
    在这里插入图片描述
    一共6个进程,多一个少一个都不行

    在node100这台机器上执行关闭:stop-all.sh

    十一、验证集群

    • 验证页面是否正常:在自己电脑的浏览器里输入如下地址:IP地址可在终端ifconfig找到

    192.168.5.100:50070
    192.168.5.100:8088

    在这里插入图片描述
    在这里插入图片描述

    如果页面显示不出来可能是防火墙没有关闭:
    关闭防火墙的方法:切换到root用户,
    systemctl stop firewalld.service
    systemctl disable firewalld.service

    十二、Hadoop的wordcount
    跑一下任务吧,在Hadoop的家目录中创建一个文件
    1.vim word.txt
    编写:
    hello python
    hello java
    hello scala
    hello world
    welcome to beijing
    :wq保存

    2.wordcount测试
    在集群上创建一个文件夹:
    hadoop fs -mkdir /test
    在这里插入图片描述
    在browse the file system访问文件系统
    在这里插入图片描述
    将之前创建的world,txt复制到test中(在家目录执行)
    hadoop fs -put ./word.txt /test
    在这里插入图片描述
    在这里插入图片描述
    执行(统计上个文件中每个单词出现的次数):
    hadoop jar /opt/module/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test/word.txt /output
    验证(出现结果):
    hadoop fs -cat /output/part-r-00000

    十三、Hive的安装
    hive --version
    开始安装:
    在hdfs上创建hive数据存放目录
    hadoop fs -mkdir /tmp # tmp目录其实已经存在了,在刚刚跑任务的时候就已经出现了
    hadoop fs -mkdir -p /user/hive/warehouse
    #给予权限
    hadoop fs -chmod g+w /tmp
    hadoop fs -chmod g+w /user/hive/warehouse

    在hive的软件目录下执行初始化命令
    进入hive目录: cd /opt/module/apache-hive-3.1.1-bin/
    在这里插入图片描述
    bin/schematool -dbType derby -initSchema
    在这里插入图片描述
    初始化成功后就会在hive的安装目录下生成derby.log日志文件和metastore_db元数据库
    启动hive:在apach目录下输入 bin/hive (必须在这个目录下启动)
    在这里插入图片描述
    查看数据库:show databases;
    在这里插入图片描述
    验证成功,不要执行其他命令:退出来 quit;

    注意:离开hadoop安全模式 hadoop dfsadmin -safemode leave(因为有时候会提示你你的集群处于安全模式下,如果你在安全模式下就执行这一句话)

    MapReduce是一种传统的面向批量任务的处理框架。像Tez这样的新处理引擎越来越倾向于近实时的查询访问。随着Yarn的出现,HDFS正日益成为一个多租户环境,允许很多数据访问模式,例如批量访问、实时访问和交互访问。

    展开全文
  • Hive环境虚拟机分享出来供小伙伴们直接使用,同时也把搭建过程记录的内容分享在下面。 系统下载–>百度网盘,提取码:xkuy 由于网盘限制,文件采用分卷压缩的形式上传。系统内所有密码均为Hadoop。环境在...
  • idea通过spark访问hive

    2021-01-07 12:29:39
    二、在windows安装hadoop并配置环境变量 1、解压hadoop 2、修改hadoop etc/hadoop的 hadoop-env.cmd、mapred-env.sh、yarn-env.sh的java_home路径 3、配置hadoop的环境变量 HADOOP_HOME D:\modules\hadoop-2.7.7...
  • 1.将两个压缩包放到虚拟机的文件夹,通常放到/opt/下 2.tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz 3.tar -zxf hive-1.1.0-cdh5.14.2.tar.gz 4.mv zookeeper-3.4.5-cdh5.14.2 soft/zk345 5.mv hive-1.1.
  • 前段时间在学习hive,之前是通过hue进行编程的,但是由于设备问题,网络连接不顺畅,使用感很不好,又不想再安装客户端了,于是学习了一下怎么在虚拟机中执行hive命令,以下是学习笔记。 启动hive #登录hadoop⽤户 ...
  • 虚拟机下安装hive

    2021-03-13 16:30:03
    3.需要压缩包hive-1.1.0-cdh5.14.2.tar.gz以及mysql-connector-java-5.1.32 拷贝mysql驱动到hive/lib下 cp mysql-connector-java-5.1.32 /opt/software/hadoop/hive110/lib 解压缩,重命名,授权 tar -zxvf hive-...
  • 1.虚拟机本地部署安装 1.1准备文件 一个是虚拟机软件:VMware... 一个是要安装在虚拟机中的系统镜像文件:CentOS-7-x86_64-DVD-1908.iso 1.2虚拟机及系统安装 虚拟机的安装和系统的安装都是向导式的,不做...
  • Java系列文章目录 作者:Loves_dccBigData ...6、配置环境变量7、启动Hive总结 前言 本文要记录的大概内容: 随着社会的不断发展,科技越来越重要,Java语言的编程技术也是不可或缺的,本文主要介绍java基础知识
  • Hive Linux环境下的安装

    2021-05-11 19:36:54
    1. 下载hive-0.8.0.tar.gz,hive运行需要依赖Hadoop集群,保证hadoop集群...需要在环境变量添加HADOOP_HOME,HIVE_HOME这两个环境变量即可。如果不再特殊操作,这样就可以了,3 启动#hive start 启动服务器#hive -...
  • 关于虚拟机配置hive的一些错误解决

    千次阅读 2018-04-12 14:37:22
    这里我的环境是ubuntu14.04,hadoop2.9,java-7-openjdk, hive0.9.0,这里第一个错误是mysql配置CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';报错ERROR 1396 (HY000): Operation CREATE USER fail...
  • Hive安装与配置

    2021-08-27 22:28:34
    Hive安装与配置 安装前准备 三台虚拟机master、slave...因此需要在Hadoop添加相关配置属性,以满足Hive在Hadoop上允许。 修改Hadoopcore-site.xml,并且Hadoop集群同步配置文件,重启生效。 <property> &l
  • 网上太多版本,但是只是为了学习,本机虚拟机上安装一下试用,很多帖子里的配置是多台服务器的配置,因些整理了一个虚拟机本机版本的安装步骤。 关于hive的一些概念,特别有一些配置文件里的内容,建议看一下书后再...
  • Hive的安装配置和使用

    千次阅读 2021-12-15 16:20:55
    Hive的安装配置和使用
  • 我们此处是选择三台虚拟机作为我们hive的安装机器,hive压缩包奉上 hive压缩包奉上,提取码:rr9f 文章目录安装derby版hive直接使用(不建议):使用mysql共享hive元数据(建议)mysql 的安装hive的安装使用方式 安装...
  • 虚拟机服务器群集配置指南 内容精选换一换本指南以从零开始使用HBase为例,指导您快速上手表格存储服务。内容包括:创建集群,一键部署HBase Shell客户端,执行HBase Shell命令创建表、往表插入数据、查询表数据...
  • 前提条件:jdk,hdoop,mysql都在虚拟机中安装好了 Hive的安装和使用 我们的版本约定: JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/hadoop-2.6.0 HIVE_HOME=/usr/local/hive-1.2.1 安装...
  • hive 设置环境变量的方法总结

    千次阅读 2020-02-19 14:02:47
     在Hive中,所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件,如果需要对默认的配置进行修改,可以创建一个hive-site.xml文件,放在${HIVE_HOME}/conf目录下。里面可以对一些配置进行个性化设定...
  • (以下操作都是在已经有Hadoop、mysql、hive环境,并且配置hive的情况下配置的) 需要配置的文件有两个 1、{HADOOP_HOME}\etc\hadoop\目录下core-site.xml 文件内容如下: <?xml version="1.0" encoding="UTF-8...
  • Hive的安装配置及使用

    千次阅读 2022-02-17 21:39:35
    文章目录前期准备检查MySQL检查Hadoop开始安装1、在MySQL创建hive元数据库2、上传安装包并解压2.1解压3、配置环境变量3.1检查环境变量是否配置完毕4、修改配置文件4.1进入hive-1.2.1/conf目录,复制备份文件并重...
  • 1、环境的基本说明本文使用的是vmware10虚拟机安装unbuntu16.04(64位)环境,机器名为hadoop。hadoop2.7.3 : 安装配置2、hive的基本安装2.1 解压修改权限解压hive:tar -zxvf apache.hive.2.1.1. -C /usr/local/cd /...
  • Hive的安装及配置详解(含图文)

    千次阅读 2020-01-29 10:19:00
    Hive安装的基础 JDK安装完成 Hadoop安装完成 Mysql安装成功 ...Hive的安装 ...在官网下载Hive的安装包 ...配置环境变量(路径/etc 文件名:profile) 配置完成后使用命令source /etc/profile刷新文件 验证Hive...
  • 用virtual box虚拟机安装Hadoop和Hive

    千次阅读 2021-11-14 14:50:07
    用virtual box虚拟机安装hadoop和hive
  • 关于配置,我安装的java版本为1.8,hadoop版本为3.2.2,教程安装的mysql版本为8.0.25,hive版本为3.1.2。 其中对应版本的安装包及jar包在这里,阿里云盘分享链接 https://www.aliyundrive.com/s/K35cMdyRFLJ 下面...
  • linux 下安装hive(3.1.2)及配置

    千次阅读 2022-01-26 10:03:35
    配置环境变量 #java export JAVA_HOME=/usr/local/jdk1.8.0_202 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME...
  • Hive安装配置

    千次阅读 2021-11-24 11:57:51
    1.首先使用xftp将 apache-hive-3.1.2-bin.tar.gz 传到虚拟机,解压缩至/usr/local并更改文件权限。 sudo tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local # 解压到/usr/local cd /usr/local/ sudo mv ...
  • Vmware14安装,新建虚拟机向导,搭建centOS7系统环境,Linux...最近想学hive,本地没有环境,所以从头到尾安装了一遍hive需要安装的东西,包括Vmware的安装,创建虚拟机配置CentOS系统环境,linux下网络的配置,hadoo

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,176
精华内容 2,870
关键字:

虚拟机hive中配置环境