精华内容
下载资源
问答
  • IDEA连接hive-连接hive工具-连接hive报错前言使用步骤 前言 之前一直用hue来写hive语句,hue页面很容易丢(习惯刷新,习惯快捷键执行sql),如果查询字段很多展示的很不好经常需要导出来再看,偶然见发现idea也可以...

    IDEA连接hive-连接hive工具-连接hive报错


    前言

    之前一直用hue来写hive语句,hue页面很容易丢(习惯刷新,习惯快捷键执行sql),如果查询字段很多展示的很不好经常需要导出来再看,偶然见发现idea也可以链接hive


    使用步骤

    在idea中链接hive
    在这里插入图片描述

    自己用的idea2020.2 自带hive,没有的用drivr
    在这里插入图片描述

    输入hive链接信息,点击测试链接,链接成功就可以跳过了,链接失败报错
    在这里插入图片描述

    链接失败,大多都是驱动的问题版本不对,例如报错:

    [ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://192.168.4.11:10000/dwd: Could not establish connection to jdbc:hive2://192.168.4.11:10000/dwd: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{set:hiveconf:hive.server2.thrift.resultset.default.fetch.size=1000, use:database=dwd})
    org.apache.hive.org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{set:hiveconf:hive.server2.thrift.resultset.default.fetch.size=1000, use:database=dwd}).
    

    下载符合版本的驱动:参照:
    https://blog.csdn.net/qq_39348280/article/details/110088865

    在这里插入图片描述

    所有的jar都删了选择点击➖
    在点击+号选择Custom JARs

    在这里插入图片描述
    在这里插入图片描述

    选择链接,打开写hql的窗口,就可以愉快的使用了

    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • IDEA连接hive

    2020-11-20 14:23:39
  • 【idea】【hive】idea连接hive

    千次阅读 2020-04-28 18:29:55
    添加一个Driver 修改名称、添加hive相关的jar包(jar包在该文章底部)、修改...添加一个hive连接 URL:jdbc:hive2:ip:port hivelib下载地址:https://download.csdn.net/download/qq_44065303/12370122...

    添加一个Driver

    修改名称、添加hive相关的jar包(jar包在该文章底部)、修改Class:为org.apache.hive.jdbc.HiveDriver

    添加一个hive连接

    URL:jdbc:hive2:ip:port

    查询测试(CTRL_enter执行语句快捷键)

     

    hivelib下载地址:https://download.csdn.net/download/qq_44065303/12370122

     

     

     

    谢谢你长得这么好看还给我点赞

    展开全文
  • Idea一些简单操作和用Idea连接hive

    千次阅读 2019-06-21 20:32:20
    Idea的安装 首先你要先准备好Idea的安装包 然后自行解决安装。 Idea的操作 配置Maven 选择File下面Settings 找到maven节点,配置图中圈中的三个配置,找到本地maven包路径,和maven依赖包 配置依赖jar...

    Idea的安装

    首先你要先准备好Idea的安装包
    在这里插入图片描述
    然后自行解决安装。

    Idea的操作

    配置Maven
    选择File下面Settings
    在这里插入图片描述
    找到maven节点,配置图中圈中的三个配置,找到本地maven包路径,和maven依赖包
    在这里插入图片描述

    配置依赖jar包
    右键项目,选择Open Module Settings
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    选择依赖jar包的路径添加进去,最好是批量添加jar包,不要直接添加文件夹
    在这里插入图片描述

    更新pom.xml文件
    右键点击pom.xml
    在这里插入图片描述
    Idea的一些快捷键

    Alt+回车 导入包,自动修正
    Ctrl+N 查找类
    Ctrl+Shift+N 查找文件
    Ctrl+Alt+L 格式化代码
    Ctrl+Alt+O 优化导入的类和包
    Alt+Insert 生成代码(如get,set方法,构造函数等)
    Ctrl+E或者Alt+Shift+C 最近更改的代码
    Ctrl+R 替换文本 Ctrl+F 查找文本
    Ctrl+Shift+Space 自动补全代码
    Ctrl+空格 代码提示
    Ctrl+Alt+Space 类名或接口名提示
    Ctrl+P方法参数提示
    Ctrl+Shift+Alt+N 查找类中的方法或变量
    Alt+Shift+C 对比最近修改的代码
    Shift+F6重构-重命名
    Ctrl+X 删除行 Ctrl+D 复制行 Ctrl+/ 或 Ctrl+Shift+/ 注释(// 或者/…/ )
    Ctrl+J 自动代码 Ctrl+E 最近打开的文件 Ctrl+H 显示类结构图 Ctrl+Q 显示注释文档
    Alt+F1查找代码所在位置
    Alt+1 快速打开或隐藏工程面板
    Ctrl+Alt+ left/right 返回至上次浏览的位置
    Alt+ left/right 切换代码视图
    Alt+ Up/Down 在方法间快速移动定位
    Ctrl+Shift+Up/Down 代码向上/下移动。
    F2 或Shift+F2 高亮错误或警告快速定位
    debug快捷键:F6 一步一步的调试
    F8 直接到下一个断点
    F5 进入方法
    F7 出方法 锁定jar包位置:双击shift
    抽成方法:alt+shift+m
    提示快捷键:Alt+enter
    变量自动补全:Alt+Shift+L

    使用Idea连接hive做一些简单的表操作

    首先在你的伪分布式hadoop集群上启动hadoop

    start-dfs.sh
    

    启动hiveserver2服务

    hiveserver2
    

    这两个操作都要在配置了环境变量的基础上才可以执行,否则就要分别到hadoop和hive的bin目录下才可以执行。

    启动mysql服务

    service mysql start
    

    查看mysql服务启动状态

    service mysql status
    

    hiveserver2最好最后一个启动,也可以在执行了这句命令后,再开一个小黑窗

    以下是java代码连接hive以及进行的一些简单的表操作

    package com.mahaowei.jdbc;
    
    import java.sql.*;
    
    public class JdbcConnect {
    //    private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
        //jdbc核心驱动类
        private static String driverName = "org.apache.hive.jdbc.HiveDriver";
    
        public static void main(String[] args) throws SQLException {
            try {
                //加载jdbc核心驱动类
                Class.forName(driverName);
            } catch (ClassNotFoundException e) {
                e.printStackTrace();
                System.exit(1);
            }
    //        Connection conn = DriverManager.getConnection("jdbc:hive://192.168.145.130:10000/test","root","root");
            //建立连接
            Connection conn = DriverManager.getConnection("jdbc:hive2://192.168.145.130:10000/1701c","root","root");
            //创建执行器
            Statement sta = conn.createStatement();
    
            String tableName = "jdbctest";
            //定义执行sql语句
            sta.execute("use 1701c");
            sta.execute("drop table if exists " + tableName);
            sta.execute("create table " + tableName + " (id int,name string)");
            System.out.println("success!");
    
            //定义执行结果集和sql语句
            ResultSet res = sta.executeQuery("show tables '" + tableName + "'");
            if(res.next()){
                System.out.println(res.getString(1));
            }
        }
    }
    

    执行成功会在虚拟机内显示这些
    在这里插入图片描述

    本人在测试过程中遇到的一些问题

    java连接hive的代码和操作就是以上所述,本来应该是没有问题的!
    但是我的却实实在在出现了问题。
    在我运行代码以后给我报这样一个异常
    Could not open client transport with JDBC Uri: jdbc:hive2://node01:10000: java.net.ConnectException

    这个异常是什么意思呢 ?
    俗话说的好,万事问百度啊!说的真好
    那么这个异常出现的原因是因为我的hiveserver2为启动
    可是我实实在在启动了!
    没办法只能在寻求百度帮助
    所以找到如下方法
    在hadoop配置文件core-site.xml配置文件中加入这段代码

    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
    

    配置这段代码的原因是,我的java代码连接hive过程中找不到hadoop接口
    那么话又说回来了,为什么连接hive要通过hiveserver2呢
    那是因为hiveserver2是hive对外提供服务的工具吧
    所以没有它还是不行的
    如果你遇到了和我一样的问题,你可以试一试我这个解决办法!

    展开全文
  • Idea连接Hive,Idea连接Hive,Idea连接Hive,Idea连接Hive,Idea连接Hive
  • idea连接Hive数据库 集群中的准备工作 在node01中开启mysql服务[root@node01 ~]# service mysqld start 在node03中开启hive的元数据服务[root@node03 ~]# hive --service metastore 在node04中开启hiveserver2服务...
  • intellij idea集成apache Hive 用到的jar包
  • IDEA工具 连接CDH集群里面的hive组件 亲自测试通过 可以连接使用
  • idea 连接hive(cdh3)问题1

    千次阅读 2018-07-03 17:52:28
    Exception in thread &... java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found. at org.apache.spark.sql.SparkSession$Builder.ena...
  • 今天使用idea本地连接Linux的hive数据库遇到了问题,代码如下: def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName(“adver”).setMaster(“local[*]”) val sparkSession = ...
  • IDEA连接Hive

    千次阅读 2021-11-26 21:01:46
    IDEA连接Hive1、打开IDEA右侧database2、添加Hive连接3、手动下载依赖包3.1、hadoop common下的三个包3.2、hadoop MapReduce下的包3.3、hive lib下的所有包 点击此处获取连接hive所需依赖包 1、打开IDEA右侧database...
  • idea连接hive

    2021-11-28 16:06:24
    启动hiveserver2 服务器开放10000端口 配置用户 这里多说一点,因为我在连接时出现了User: wxwmd is not allowed to ...--增加使得idea远程连接到这个hive--> <property> <name>hadoop.proxyuser..
  • idea远程连接hive

    千次阅读 2018-02-09 14:12:30
    虽然网上介绍idea远程连接hive的方法挺多的,但是我还是整了一段时间才连接成功,在这边记录一下,方便他人,方便自己。首先看一下我通过xshell5远程连接hive的配置这是登陆时候的界面,可以看到我选择的是10.100.34...
  • Idea如何连接hive数据仓库

    千次阅读 2019-05-14 13:53:18
    Tips 备注:本文引用的相关Jar包... 一:添加HIVE数据源 tip1: 首先打开IDEA,调出Database窗口,按如下步骤点击 tip2: 点击+ 创建一个数据源,并选中driver驱动。 tip3: 点击刚创建的数据源Database Dr...
  • Windows10-idea通过spark连接hive

    千次阅读 2019-01-01 13:02:33
    idea如果想通过spark连接hive,首先pom文件中需要添加hive,除此之外必须要把hive-site.xml放到idea的resources下面。hive-site.xml里面是配置的hive的元数据库地址,hdfs-site.xml、core-cite.xml可以选择是否放...
  • idea连接 hive

    千次阅读 2021-11-07 10:22:47
    hive-jdbc 中虽然包括 hadoop-common 的依赖,但是不会主动引入 hadoop-common 的依赖,需要主动添加 <!--添加所用hive版本的jdbc依赖 --> <dependency> <groupId>org.apache.hive</groupId&...
  • IDEA远程连接Hive过程

    2020-11-28 21:00:53
    IDEAl远程连接Hive过程 1. 打开idea 2.配置pom文件中的依赖 <dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId>...
  • 本地IDEA远程连接hive的问题解决

    千次阅读 2019-08-19 17:02:59
    这次可以连接hive了,直接显示出了结果: 但是结尾会爆临时日志删除失败的error,但是并不影响程序,打包放到集群上运行没有任何错误,估计是spark的一个bug吧,所以放心大胆的去使用这种方法吧。 hadoop2.6.0...
  • 使用IDEA Database Tool连接Hive数据库

    千次阅读 2018-05-04 22:31:43
    因为IDEA没有内置hive的驱动,所以需要自己新建一个Driver,如下图:2.1 先打开Database工具,选择Database Source Properties2.2 选择新建Driver2.3 选择后自动跳转出现新建Driver配置页面修改Name名字(命名驱动的...
  • idea使用jdbc连接hive的报错总结

    千次阅读 2019-06-04 10:51:39
    1、java.sql.SQLException: org.apache.thrift.transport.TTransportException: SASL ...遇到这种错误,首先看看是否还未进行工作已经关闭了连接 public void insert() throws Exception{ PreparedStatemen...
  • 记录一下spark sql远程连接hive,进行sql操作的过程。 1、把远程端的hive-site.xml文件放在idea的resources目录下 注意这里要改成远程要访问的ip地址 2、引入mysql驱动包,因为spark sql其实是访问的是存储...
  • Spark------Idea连接Hive

    2021-10-27 22:15:09
    Spark------Idea连接Hive package spark.day03 import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object _04TestHive { def main(args: Array[String]): Unit = { System.setProperty("HADOOP_...
  • idea中通过spark访问hive

    2021-01-07 12:29:39
    IDEA中使用Spark SQL 连接Hive 折腾了两个小时,好久没有弄了,记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改...
  • at org.apache.hadoop.hive.ql.metadata.Hive.getTable(Hive.java:1282) at org.apache.spark.sql.hive.client.HiveClientImpl.getRawTableOption(HiveClientImpl.scala:397) at org.apache.spark.sql.hive.client....
  • IDEA中使用Java连接Hive并读取数据

    千次阅读 2020-05-30 08:50:26
    有关Java连接Hive数据库, 首先要在Maven项目的pom.xml文件中加载依赖: <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>...
  • 平台环境:hadoop 2.6.0-CDH5.7 Hive 1.1.0 Spark 1.6.0 Scala 2.11.5 项目环境:jdk 1.8 scala2.11.0 1.创建新工程 1.创建一个maven工程,不做赘述。 工程目录结构如下: 2.配置环境 1.左上角File -&amp;amp;...
  • 资源提前剧透 驱动地址: 链接: ... step1 ...选择了jar包后需要等待IDEA扫描jar包,在IDEA下方会出现扫描进度条,等待即可。 选择驱动的class为"org.apache.hive.jdbc.HiveDriver" step.

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,750
精华内容 1,100
关键字:

idea连接hive