精华内容
下载资源
问答
  • 文章目录windows虚拟机中配置Hadoop Hive(二)一 利用Xftp将软件包上传到Linux中二 配制免密登录三 解压软件包到/opt/module四 编辑环境变量:五 重新加载该文件 使环境变量生效六 修改hadoop的配置文件: windows...

    windows虚拟机中配置Hadoop Hive(二)

    完全分布式:Hadoop守护进程运行在一个集群上
    伪分布式:在单节点集群上运行Hadoop,其中所有的守护进程都运行在同一台机器上.对机器的消耗更小一点.

    一 利用Xftp将软件包上传到Linux中

    在这里插入图片描述

    我们不要用root用户登录,使用Hadoop用户登录,将软件传输到Hadoop的目录下:
    在这里插入图片描述
    在xshell 中 检查一下是否有这几个软件:
    在这里插入图片描述

    二 配制免密登录

    免密码登录的原因:如果集群不是伪分布式的,那么在存文件的时候,有多份,比如存了三份,那么在下载的时候他会从不同的块下载,你要下载node101的文件,需要先进入才能下载.如果不配置免密登录,需要先输入密码,三个结点的话每次输密码我可以接受,但是如果3个文件10000个块,块在不同的机器上,你要输入这么多密码,心里是不是很崩溃.

    • 1 切换到root用户:su - root
    • 2 关闭selinux: vim /etc/selinux/config 按i进入插入模式, SELINUX=disabled
      在这里插入图片描述

    esc :wq 保存并退出.clear清屏

    • 3 切换到Hadoop用户:su - hadoop
    • 4 进入Hadoop的家目录: cd
      在这里插入图片描述
      进入Hadoop家目录后,输入下面的命令:
      注:ssh的意思登录到其他机器的意思,我现在是node100,要登录到101,在一个集群上是可以登录的,登录后相当于可以进入另一台电脑上了.
      ssh-keygen -t rsa [输入完后连按4个回车]
      ssh node100 [yes,输入hadoop用户的密码]
      ssh-copy-id node100 [输入hadoop用户的密码]

    检查是否成功:ssh node100 不需要密码即可登录

    三 解压软件包到/opt/module

    先切换到root,在opt里面创建一个文件夹module:
    在root用户下切换到opt文件夹:cd /opt/
    创建module文件夹:mkdir module

    更改所有者和所有组给Hadoop:
    chgrp hadoop module/
    chown hadoop module/
    在这里插入图片描述
    在这里插入图片描述
    回到的家目录开始解压:
    cd
    tar -zxvf ./jdk-8u181-linux-x64.tar.gz -C /opt/module/
    tar -zxvf ./hadoop-2.7.3.tar.gz -C /opt/module/
    tar -zxvf ./apache-hive-3.1.1-bin.tar.gz -C /opt/module/
    在这里插入图片描述

    四 编辑环境变量:

    cd 进入家目录,这个.bash_profile是一个隐藏文件
    vim ~/.bash_profile
    在这里插入图片描述

    在文件末尾(光标移到最后一行,按一个小写的o)添加
    JAVA_HOME=/opt/module/jdk1.8.0_181
    HADOOP_HOME=/opt/module/hadoop-2.7.3
    HIVE_HOME=/opt/module/apache-hive-3.1.1-bin
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

    export JAVA_HOME
    export HADOOP_HOME
    export HIVE_HOME
    export PATH
    在这里插入图片描述
    esc :wq

    五 重新加载该文件 使环境变量生效

    在Hadoop家目录
    source ~/.bash_profile
    验证是否正确:
    java -version
    hadoop version
    在这里插入图片描述

    六 修改hadoop的配置文件:

    在Hadoop用户下:
    cd /opt/module/hadoop-2.7.3/etc/hadoop
    在这里插入图片描述
    etc是存放配置文件的.我们进入etc看看:
    在这里插入图片描述
    有一个Hadoop文件,进去:
    在这里插入图片描述
    我们需要修改其中的几个:复制粘贴以下命令
    1.vim ./hadoop-env.sh
    在这里插入图片描述
    将光标地方的代码修改(或者注释)如下:注意jdk1.8.0_181要与你的版本对应,解压后的文件名!
    export JAVA_HOME=/opt/module/jdk1.8.0_181
    在这里插入图片描述
    :wq

    2.vim ./mapred-env.sh
    export JAVA_HOME=/opt/module/jdk1.8.0_181
    在这里插入图片描述

    3.vim ./yarn-env.sh
    export JAVA_HOME=/opt/module/jdk1.8.0_181
    在这里插入图片描述

    4.vim ./core-site.xml
    在倒数第一行和倒数第二行中间, 按一个o键
    在这里插入图片描述

        <!-- 指定HDFS中NameNode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node100:9000</value>
        </property>
    
        <!-- 指定Hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoopdata</value>
        </property>
    

    复制粘贴,空白也要复制,中间的Node100要根据自己的机器名字更改:
    在这里插入图片描述

    5.vim ./hdfs-site.xml

        <!-- 指定HDFS副本的数量 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
    
        <!-- 指定Hadoop辅助名称节点主机配置 -->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node100:50090</value>
        </property>
    

    在这里插入图片描述

    6.cp ./mapred-site.xml.template ./mapred-site.xml
    先复制过去,然后编辑复制后的文件
    在这里插入图片描述
    vim ./mapred-site.xml (z注意一定要先在指定位置上按i才能编辑)

    <!-- 指定MR运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    

    在这里插入图片描述

    7.vim ./yarn-site.xml

        <!-- Reducer获取数据的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
    
        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>node100</value>
        </property>
    
        <!-- 关闭虚拟内存检查 -->
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
    

    在这里插入图片描述
    8.vim ./slaves
    删除(正常模式下小写dd)localhost,改为node100
    在这里插入图片描述
    node100

    七 格式化hadoop集群

    注意:这个命令只能格式化一次,再一次格式化就会出问题了!
    在node100这台机器上执行:hdfs namenode -format

    格式化好后就可以启动或者关闭Hadoop集群了

    八 启动/关闭hadoop集群

    在node100这台机器上执行启动:start-all.sh
    在这里插入图片描述
    查看是否成功运行: jps
    在这里插入图片描述
    一共6个进程,多一个少一个都不行

    在node100这台机器上执行关闭:stop-all.sh

    九 验证集群

    • 验证页面是否正常:在自己电脑的浏览器里输入如下地址:IP地址可在终端ifconfig找到

    192.168.5.100:50070
    192.168.5.100:8088

    在这里插入图片描述
    在这里插入图片描述

    如果页面显示不出来可能是防火墙没有关闭:
    关闭防火墙的方法:切换到root用户,
    systemctl stop firewalld.service
    systemctl disable firewalld.service

    十 Hadoop的wordcount

    跑一下任务吧,在Hadoop的家目录中创建一个文件
    1.vim word.txt
    编写:
    hello python
    hello java
    hello scala
    hello world
    welcome to beijing
    :wq保存

    2.wordcount测试
    在集群上创建一个文件夹:
    hadoop fs -mkdir /test
    在这里插入图片描述
    在browse the file system访问文件系统
    在这里插入图片描述
    将之前创建的world,txt复制到test中(在家目录执行)
    hadoop fs -put ./word.txt /test
    在这里插入图片描述
    在这里插入图片描述
    执行(统计上个文件中每个单词出现的次数):
    hadoop jar /opt/module/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test/word.txt /output
    验证(出现结果):
    hadoop fs -cat /output/part-r-00000

    十一 Hive的安装

    hive --version
    开始安装:
    在hdfs上创建hive数据存放目录
    hadoop fs -mkdir /tmp # tmp目录其实已经存在了,在刚刚跑任务的时候就已经出现了
    hadoop fs -mkdir -p /user/hive/warehouse
    #给予权限
    hadoop fs -chmod g+w /tmp
    hadoop fs -chmod g+w /user/hive/warehouse

    在hive的软件目录下执行初始化命令
    进入hive目录: cd /opt/module/apache-hive-3.1.1-bin/
    在这里插入图片描述
    bin/schematool -dbType derby -initSchema
    在这里插入图片描述
    初始化成功后就会在hive的安装目录下生成derby.log日志文件和metastore_db元数据库
    启动hive:在apach目录下输入 bin/hive (必须在这个目录下启动)
    在这里插入图片描述
    查看数据库:show databases;
    在这里插入图片描述
    验证成功,不要执行其他命令:退出来 quit;

    注意:离开hadoop安全模式 hadoop dfsadmin -safemode leave(因为有时候会提示你你的集群处于安全模式下,如果你在安全模式下就执行这一句话)

    MapReduce是一种传统的面向批量任务的处理框架。像Tez这样的新处理引擎越来越倾向于近实时的查询访问。随着Yarn的出现,HDFS正日益成为一个多租户环境,允许很多数据访问模式,例如批量访问、实时访问和交互访问。

    展开全文
  • 根据与客户电话沟通及现场检测,按故障表现,作如下判断:故障表现:客户共配置16台服务器节点,在每台物理服务器存储上,有大约3台左右的虚拟机,在虚拟机配置的分布式,上层部署的hbase数据库和hive数据库,...

    分布式存储数据恢复设备清单及基本描述

    fd2a658b60967e2798d22d9bd9663d3d.png

    初检方案及过程

    存储数据恢复初检方式:根据与客户电话沟通及现场检测,按故障表现,作如下判断:

    故障表现:客户共配置16台服务器节点,在每台物理服务器存储上,有大约3台左右的虚拟机,在虚拟机上配置的分布式,上层部署的hbase数据库和hive数据库,数据库底层文件删除,导致数据库不能使用。

    数据恢复概率预判:

    经过现场对客户环境的简单检测,虚拟机还可以正常启动,虚拟机里面的数据库块文件有丢失,块文件丢失之后,没有对整个集群环境在进行数据的写入,底层的数据损坏可能性会比较小。

    综上所述,由于在删除之后,没有再继续写入数据,具有较大的可恢复性,但是由于现阶段还没有对底层结构进行分析,再加上hbase和hive的算法和底层结构十分复杂,具体的恢复概率无法判断,还需在之后具体的数据恢复过程中才可以知晓。

    分布式存储数据恢复服务流程

    1、前期备份流程

    A、从物理服务器存储底层做备份,将原存储设备断电、关机。

    B、从虚拟机层面备份,通过网络直接备份虚拟机底层磁盘文件。

    C、准备一台恢复操作服务器(北亚提供),在数据恢复平台上以只读方式挂载服务器硬盘,使用北亚磁盘备份工具(或 dd等工具)进行完整的扇区对扇区的备份。

    D、备份完成后,提供详细报告,涉及威信的健康状态及可能存在的坏道列表。

    E、将服务器硬盘交回给用户(建议原样恢复),之后不再直接操作原介质。

    8eddebdb6d9a96f73b4756323436469d.png

    2、服务器存储块文件结构分析

    A、对每个虚拟机磁盘地块文件进行分析;

    B、分析文件底层的聚合方式;

    C、分析每个磁盘中数据的分布情况;

    3、Block文件key分析

    A、定位数据库文件中的key信息;

    B、提取并解析数据库文件中key信息;

    C、整合数据库文件key信息

    4、Block文件拼接

    A、根据Block文件的key信息提取文件片段;

    B、对Block文件的片段进行拼接;

    C、校验拼接后的Block文件的正确性。

    5、Block文件导入

    A、校验提取出的Block文件完整性及正确性;

    B、把提取出来的Block文件导入到hbase和hive数据库中;

    6、服务器存储数据恢复结果验证

    A、由用户主导对数据本身进行详细验证。

    B、如发现新问题,重新检验上述所有数据恢复过程。

    数据恢复服务承诺

    1、整个过程不会对客户的原盘有任何的写操作,以确保原盘的数据安全

    2、尽最大可能保证服务的操作可逆,确保人力可控范围内操作可回溯。

    3、提供后期数据保管和服务跟踪。

    4、以上所有操作在有备份的情况下进行,若不成功不影响其他方案继续。

    数据恢复周期预估

    a41decacfcaa072a829b461deaea8249.png

    说明:总时间控制在20个工作日,上表中的时间只是预估,以实际情况为准。

    分布式存储数据恢复成功率预估

    dd6aa632040031c863d660b7cc45e4a7.png

    数据安全救援的可靠度应超过 80%。参考:2020年全年企业级数据安全救援的最终成功率为 84.3%。因不存在同步及基本可排除的硬件故障。

    展开全文
  • Hadoop下hive安装配置

    千次阅读 2020-06-29 19:05:56
    hive安装 确保虚拟机上有mysql 1 、将hive放入opt中 解压tar -zxf hive-1.1.0-cdh5.14.2.tar.gz ...3、然后到hive的conf文件夹中配置 cd /opt/hive/conf 1、修改hive-env.sh文件 没有hive-env.sh文件

    hive安装

    确保虚拟机上有mysql

    1 、将hive放入opt中

    解压tar -zxf hive-1.1.0-cdh5.14.2.tar.gz

    2、配置环境变量

    export HIVE_PATH=/opt/hive
    export PATH=$PATH:$HIVE_PATH/bin
    

    保存退出后记得source /etc/profile 使刚刚配的环境变量生效

    3、然后到hive的conf文件夹中配置

    cd /opt/hive/conf
    1、修改hive-env.sh文件
    没有hive-env.sh文件我们要先把hive-env.sh.template改名为hive-env.sh

    mv hive-env.sh.template hive-env.sh

    vi hive-env.sh
    
    
    export HADOOP_HOME=/opt/hadoop
    export HIVE_CONF_DIR=/opt/hive/conf
    export HIVE_AUX_JARS_PATH=/opt/hive/lib
    export JAVA_HOME=/opt/jdk1.8.0_221/
    

    2、我们创建hive-site.xml

    vi hive-site.xml
    
    
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
            <property>
                    <name>hive.metastore.warehouse.dir</name>
                    <value>hdfs://hadoop101:9000/hive/warehouse</value>
                   <description>管理表存储的位置,可以是linux中的目录,也可以是相对于fs.default.name有关的目录</description>
            </property>
            <property>
                    <name>hive.metastore.local</name>
                    <value>false</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionURL</name>
                    <value>jdbc:mysql://192.168.56.101:3306/hive?createDatabaseIfNotExist=true</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionDriverName</name>
                    <value>com.mysql.jdbc.Driver</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionUserName</name>
                    <value>root</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionPassword</name>
                    <value>ok</value>
            </property>
    </configuration>
    
    
    

    4、 将mysql connector jar 包放到hive/bin下

    5、新建/hive/warehouse 并给他赋权限

    hadoop fs -mkdir /hive
    hadoop fs -mkdir /hive/warehouse
    
    
    
    hadoop fs -chmod 777 /hive
    hadoop fs -chmod 777 /hive/warehouse
    

    6、 我们就可以启动了

    先初始化
    schematool -dbType mysql -initSchema
    然后输入hive 进入
    再输入show tables; 来查看显示ok 则表示安装配置完成了

    展开全文
  • 首先在虚拟机中安装linux,我是用的redhad,然后装jdk:http://yushan.javaeye.com/blog/261148,接下来是关键部分:一、hadoop安装:下载release版本hadoop0.20.1,解压到/home/hadoop/ 。1.命令行下运行#mkdir inp...

    最近在接触hadoop的项目,把总结出的配置方法写出来纪念一下,也方便后来人快速玩转hadoop。

    首先在虚拟机中安装linux,我是用的redhad,然后装jdk:http://yushan.javaeye.com/blog/261148,接下来是关键部分:

    一、hadoop安装:下载release版本hadoop0.20.1,解压到/home/hadoop/ 。

    1.命令行下运行

    #mkdir input cp conf/*.xml input

    bin/hadoop jar build/hadoop-0.16.0-dev-examples.jar grep input output 'dfs[a-z.]+'

    #cat output/*

    2.修改conf/hadoop-site.xml文件

    fs.default.name

    localhost:9000

    mapred.job.tracker

    localhost:9001

    dfs.replication

    1

    3.修改ssh权限:

    #ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

    #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    4.初始化并启动各节点:

    #bin/hadoop namenode -format

    #bin/start-all.sh

    二、安装ant

    ant为编译工具,用来编译hive源代码。

    解压到/home/apache-ant1.7.1

    修改/etc/profile文件添加如下行(各软件版本自行调整):

    export ANT_HOME=/home/hadoop/apache-ant-1.7.1

    export JAVA_HOME=/usr/java/jdk1.6.0_10

    export HADOOP_HOME=/home/hadoop/hadoop-0.20.1

    export JAVA_BIN=/usr/java/jdk1.6.0_10/bin

    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin

    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    export JAVA_HOME JAVA_BIN PATH CLASSPATH

    运行#source /etc/profile

    #ant

    显示

    Buildfile: build.xml does not exist!

    Build failed

    ant安装完毕!

    三、安装hive

    未完待续。。。

    展开全文
  • 最近因为实验室需要搭建Hadoop集群,上面需要...因为我之前也在网上看过很多帖子,这里我将我这一次搭建hadoop整个生态环境的过程记录下来, 同时也记录下了我在配置过程遇到的一些问题和解决办法,用作学习交流。
  • 虚拟机下linux+java+hadoop+hive环境搭建

    千次阅读 2009-10-19 15:35:00
    首先在虚拟机中安装linux,我是用的redhad,然后装jdk:http://yushan.javaeye.com/blog/261148,接下来是关键部分: 一、hadoop安装:下载release版本hadoop0.20.1,解压到/home/hadoop/ 。 1.命令行下运行 #mkdir...
  • 本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Hive。 简要步骤: ①、下载hive解压包 ②、安装mysql服务器,教程可参照笔者博客 yum方式安装mysql数据库 ③、进入hive的conf目标...
  • CentOS配置Hive

    2019-07-02 18:48:43
    hive搭建共分为三种模式:1、embedded,2、local,3、remote server ...我的环境共三台虚拟机:Host0,Host2,Host3 在remote server模式,Host0:Hive-server2  Host2:Hive-metastore  ...
  • Hadoop实例学习(二十)Hive安装

    千次阅读 2020-12-24 17:03:45
    目录下载hive上传至虚拟机Hive安装及配置添加环境变量配置hive-env.sh文件配置hive-site.xml文件将mysql驱动移到hive/lib!!!期间碰到的问题 下载hive hive地址:http://mirror.bit.edu.cn/apache/hive/ 上传至...
  • 文章目录什么是Hive一、事前准备1、虚拟机安装MySQl2、虚拟机安装hadoop3、Hive安装包二、安装Hive1、解压,改名2、修改环境变量3、修改配置文件4、运行Hive1、先启动hdfs2、初始化数据库 什么是Hive Hive是基于...
  • hive的安装

    2019-06-24 10:43:59
    首先虚拟机中需要有hadoop 安装MySQL 1.上传tar包 用xftp上传 2.解压 tar -zxvf hive-1.2.1.tar.gz 4.配置hive (a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home (b)配置元数据库信息 vi...
  • Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程 ...编译环境:由于公司服务器不能联网,故在本机win8下的虚拟机中编译(虚拟机中同样是Oracle Linux Server release 6.3 (64位)) 节
  • 文件副本数通常情况下为3,不推荐修改,如果测试环境只有两台虚拟机,那么此处要修改为2 2.Yarn基础配置 2.1 nodemanager配置 2.1.1CPU配置 yarn.nodemanager.resource.cpu-vcores 表示该节点服务器上yarn可以使用的...
  • 这是我虚拟机的拓扑结构: 这里我搭建的版本是 hadoop2.7.1 hive2.3.6 这两个可以...配置环境变量:vi /etc/profile 保存退出后:source /etc/profile 到hive的conf目录创建 hive-site.xml文件: vi hive-site.xm
  • 1. JDK配置 1 从Sun的网站下载JDK...在Fedora 12djk的环境变量均已自动配置。 注意:请先卸载系统自带的openJDK,保险一些。可从安装包管理器卸载。 2. Hadoop配置 2.1 虚拟机配置<br
  • 基本环境搭建 0. Vmware中网卡 桥接(bridge),NAT 桥接:宿主机 ,虚拟机 在网络上 ,等同的 ,相互都具有独立的ip地址 NAT模式:宿主机(192.168.0.3)虚拟机 (192.168.0.3) 宿主机 可以与 虚拟机 构建一个 虚拟...
  • 最近开始学习大数据,自己在虚拟机中搭建了一套环境,因为参考的博客写的很详细,自己不再重写,只给出链接:http://blog.csdn.net/pucao_cug?viewmode=contents 自己在搭建过程,出的一些问题: 1.配置...
  • Kettle8.2实现抽取文件到Hive一、Hadoop2.7.3安装(安装略)二、Hive的安装及...目标:利用Kettle将本地文件抽取到Hive中 用户:虚拟机root用户安装所有环境(为了方便,生产环境自行更改) 一、Hadoop2.7.3安装(安装
  • 准备条件 在搭建单用户Hive时,我们已经准备好了mysql,和将hive的conf文件夹下的需要修改的配置文件也已经修改了。搭建多用户时,在多准备两台...然后在node3和node4分别配置hive环境变量。 分发命令如下: sc...
  • 安装Sqoop及环境配置

    2020-09-26 15:46:22
    安装Sqoop一.安装Sqoop及环境配置1....(1)上传安装包sqoop-1.4.6-cdh5.14.2.tar.gz到虚拟机需要安装的文件夹(我直接放在我要安装的文件夹下/opt) (2)解压sqoop安装包到指定文件夹 [root@hadoo
  • Hive本地模式安装部署采用MySQL存储数据为hive创建数据库及用户配置环境 采用MySQL存储数据 本地模式需要采用MySQL数据库存储数据,先安装MySQL数据库 命令:sudo apt install mysql-server 输入虚拟机密码开始安装...
  • 近期学习hive和Kafka eagle的过程,需要环境中有MySQL服务,于是自己动手搭建MySQL环境,本以为是个很简单的事情,随便在网上搜一搜教程就可以完成,没想到按照大多数教程安装之后,MySQL都不可用,于是我自己安装...
  • Linux下的hive的安装

    2020-08-20 15:35:37
    #我采用的是hive1.2.1的版本先检查hadoop和java的环境是否配置好 #该命令查看java的安装目录 echo $JAVA_HOME #查看hadoop的安装目录 echo $HADOOP_HOME 具体的配置如下 若没有安装hadoop的可参考这篇文章 ...
  • Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF Hadoop...
  • 我使用的虚拟机环境是VMware10,linux系统是64位 Centos 6.5 minimal版本。对于安装linux系统的过程就不在赘述了,网上有很多。安装好linux后,需要做好3件事: 修改主机名: 在/etc/sysconfig/network文件修改...
  • 同时,将环境的路径也配置下 cd ~ rpm -ivh jdk-8u261-linux-x64.rpm vi /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64 export HADOOP_HOME=/user/share/bigdata/hadoop-3.2.1 export HIVE
  • sqoop安装及配置

    2020-09-26 15:06:03
    sqoop安装即环境配置 一、sqoop 安装 安装 sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的 环境。 1.1 下载并解压 ...3.配置环境变量 vi /etc/profile 让配置文件生效 source /etc/profi
  • Sqoop安装配置

    2020-09-26 11:00:41
    安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的 环境 1、上传安装包 sqoop-1.4.6-cdh5.14.2.tar.gz 到虚拟机中 、 2、解压 sqoop 安装包到指定目录 tar -zxvf sqoop-1.4.6-cdh5.14.2.tar....

空空如也

空空如也

1 2 3 4
收藏数 61
精华内容 24
关键字:

虚拟机hive中配置环境