精华内容
下载资源
问答
  • JDBC连接impala Java连接Hive JDBC连接Hive

    万次阅读 2018-10-09 20:01:27
    JDBC连接impala Java连接Hive JDBC连接Hive 大家都知道impala是用hive的数据源,但速度要比hive快的多,在秒级即可完成任务查询 package cn.com.tengen.hive; import java.sql.SQLException; import java.sql....

    JDBC连接impala Java连接Hive JDBC连接Hive    

    大家都知道impala是用hive的数据源,但速度要比hive快的多,在秒级即可完成任务查询

    package cn.com.tengen.hive;
    
    import java.sql.SQLException;
    import java.sql.Connection;
    import java.sql.ResultSet;
    import java.sql.Statement;
    import java.sql.DriverManager;
     
    public class ImpalaJdbcTest {
         
        private static String driverName =
                       "com.cloudera.impala.jdbc41.Driver";
       
        public static void main(String[] args)
                                throws SQLException {
            try {
                Class.forName(driverName);
                
            } catch (ClassNotFoundException e) {
                e.printStackTrace();
                System.exit(1);
            }
            Connection con = DriverManager.getConnection(
                               "jdbc:impala://quickstart.cloudera:21050/default", "cloudera", "cloudera");
            Statement stmt = con.createStatement();
            StringBuffer sb = new StringBuffer("(88,'helen','女')");
            StringBuffer sb2 = new StringBuffer("(88,1002088)");
            int number = 900000;
            for(int i=number;i<number+3000;i++) {
            	sb.append(",("+i+",'lucky"+i+"','男')");
            	sb2.append(",("+i+","+(1000000+i+(i+"").hashCode()%2*1000)+")");
            }
            stmt.execute("INSERT INTO default.test1 VALUES "+sb.toString());
            stmt.execute("INSERT INTO default.test VALUES "+sb2.toString());
            String sql = "";
           ResultSet res = null;
     
    // 
    //        sql = "select * from test t1 join test1 t2 on t1.id = t2.id";
    //        res = stmt.executeQuery(sql);
    //        while (res.next()) {
    //            System.out.println(String.valueOf(res.getInt(1)) 
    //            		+ "\t"+ res.getString(2)
    //            		+ "\t"+ res.getString(3)
    //            		+ "\t"+ res.getString(4)
    //            		+ "\t"+ res.getString(5)
    //            		);
    //        }
    // 
            sql = "select count(t1.id) from test t1 join test1 t2 on t1.id = t2.id";
            System.out.println("Running: " + sql);
            res = stmt.executeQuery(sql);
            while (res.next()) {
                System.out.println(res.getString(1));
            }
            
    //        stmt.close();
        }
    }

    对人工智能感兴趣的同学,可以点击以下链接:

    现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。

    https://www.cbedai.net/u014646662

    展开全文
  • IDEA连接hive-连接hive工具-连接hive报错前言使用步骤 前言 之前一直用hue来写hive语句,hue页面很容易丢(习惯刷新,习惯快捷键执行sql),如果查询字段很多展示的很不好经常需要导出来再看,偶然见发现idea也可以...

    IDEA连接hive-连接hive工具-连接hive报错


    前言

    之前一直用hue来写hive语句,hue页面很容易丢(习惯刷新,习惯快捷键执行sql),如果查询字段很多展示的很不好经常需要导出来再看,偶然见发现idea也可以链接hive


    使用步骤

    在idea中链接hive
    在这里插入图片描述

    自己用的idea2020.2 自带hive,没有的用drivr
    在这里插入图片描述

    输入hive链接信息,点击测试链接,链接成功就可以跳过了,链接失败报错
    在这里插入图片描述

    链接失败,大多都是驱动的问题版本不对,例如报错:

    [ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://192.168.4.11:10000/dwd: Could not establish connection to jdbc:hive2://192.168.4.11:10000/dwd: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{set:hiveconf:hive.server2.thrift.resultset.default.fetch.size=1000, use:database=dwd})
    org.apache.hive.org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{set:hiveconf:hive.server2.thrift.resultset.default.fetch.size=1000, use:database=dwd}).
    

    下载符合版本的驱动:参照:
    https://blog.csdn.net/qq_39348280/article/details/110088865

    在这里插入图片描述

    所有的jar都删了选择点击➖
    在点击+号选择Custom JARs

    在这里插入图片描述
    在这里插入图片描述

    选择链接,打开写hql的窗口,就可以愉快的使用了

    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 连接hive数据仓库的可视化工具 dbeaver 和squirrel 的安装及连接hive操作 这里只介绍 dbeaver 一 dbeaver 的安装 下载: https://dbeaver.io/ 点击下载 下载完成后 运行 所有步骤 next 即可。【我把 jre 勾...

    连接hive数据仓库的可视化工具 dbeaver 和squirrel 的安装及连接hive操作

    这里只介绍 dbeaver
    一 dbeaver 的安装
    下载: https://dbeaver.io/
    点击下载
    在这里插入图片描述

    下载完成后 运行
    所有步骤 next 即可。【我把 jre 勾掉了 其他默认 ,里面的语言自己选 我选的英文】同时选中 创建桌面快捷方式。

    安装 完成。

    dbeaver连接 hive
    1.连接之前 需要开启 yarn 和hdfs集群 即hadoop 集群 【到hadoop安装目录下 sbin 下 start-all.sh 即可】 以及hive的远程服务【到hive 安装目录下 bin/hiveserver2 即可】
    2.运行dbeaver
    在这里插入图片描述
    选中 apache hive
    2.在这里插入图片描述
    3.在这里插入图片描述
    4.在这里插入图片描述
    5.在这里插入图片描述
    6. 4和5完成后
    在这里插入图片描述
    7. 6完成后 点击ok
    在这里插入图片描述
    8.连接成功 下面我们可以 点击 edit sql 然后进行sql 操作了。

    结束。
    在这里插入图片描述

    展开全文
  • Presto连接Hive

    千次阅读 2018-10-26 08:20:06
    接前一篇文章,这里只说怎样连接Hive。 配置 Hive Connector etc/catalog/hive.properties connector.name=hive-hadoop2 hive.metastore.uri=thrift://&lt;hive_metastore_ip&gt;:9083 hive.config....

    接前一篇文章,这里只说怎样连接Hive。

    配置 Hive Connector

    • etc/catalog/hive.properties
    connector.name=hive-hadoop2
    hive.metastore.uri=thrift://<hive_metastore_ip>:9083
    hive.config.resources=/opt/presto-server-0.211/etc/cluster/core-site.xml,/opt/presto-server-0.211/etc/cluster/hdfs-site.xml
    

    其中 hive.metastore.uri 可以从 hive-site.xml 文件中获取。

    将配置复制到其它节点的相同目录下。

    hdfs 配置文件

    从 hdfs 的环境中复制 core-site.xml 和 hdfs-site.xml 文件到 presto 的 etc/cluster 目录下。

    将配置复制到其它节点的相同目录下。

    启动 Prestore

    分别在两个节点上重新启动 Presto 服务。

    在 Hive 中创建数据库、数据表和数据

    $ hive
    
    # 创建数据库
    hive> create schema test; 
    
    # 查询数据库
    hive> show databases;
    +---------------------+
    |    database_name    |
    +---------------------+
    | default             |
    | information_schema  |
    | sys                 |
    | test                |
    +---------------------+
    
    # 显示数据库中的表
    hive> show tables from test;
    +-----------+
    | tab_name  |
    +-----------+
    +-----------+
    
    # 创建数据表
    hive> CREATE TABLE test.users(id int, username string, password string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
    ...
    
    # 插入数据
    hive> insert into table test.users values (1, 'user1', 'password1'), (2, 'user2', 'password2'), (3, 'user3', 'password3');
    ...
    
    # 查询数据
    hive> select * from test.users;
    +-----------+-----------------+-----------------+
    | users.id  | users.username  | users.password  |
    +-----------+-----------------+-----------------+
    | 1         | user1           | password1       |
    | 2         | user2           | password2       |
    | 3         | user3           | password3       |
    +-----------+-----------------+-----------------+
    

    通过 Presto 查询数据

    # 启动 presto 命令行
    $ ./presto --server bd1:8080 --catalog hive --schema test
    
    # 查询数据库
    presto:test> show schemas from hive;
           Schema       
    --------------------
     default            
     information_schema 
     sys                
     test               
    (4 rows)
    
    # 查询数据表
    presto:test> show tables from hive.test;
     Table  
    --------
     users  
     users2 
    (2 rows)
    
    # 查询数据
    presto:test> select * from hive.test.users;
     id | username | password 
    ----+----------+----------
    (0 rows)
    
    展开全文
  • dbeaver连接hive

    2020-08-04 19:05:33
    dbeaver连接hive 首先搭建好hive环境,启动hive的metastore和hiveserver2 启动服务 本地连接测试服务可用性 说明服务可用 设置连接驱动,移除到之前默认的(很大可能性下载失败),添加hive-jdbc-1.2.2-...
  • DBeaver连接HIVE

    2019-10-30 14:45:20
    DBeaver与HIVE工欲善其事必先利其器安装DBeaver准备工作还没结束----改配置HIVEHadoop连接HIVE 工欲善其事必先利其器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器,...
  • python连接hive总结

    万次阅读 2019-06-05 18:21:08
    工作中需要,在本地使用python通过远程连接hive,去读取hive的一些表中大量的数据。 进行一些数据预处理,然后测试模型的精准度。 ``` ``` python连接hive,很艰难,很麻烦,在初期去安装一些相关类库的时候,就会...
  • kettle连接Hive操作

    千次阅读 2019-10-08 15:27:47
    kettle连接Hive操作 文章目录kettle连接Hive操作从Hive中下载数据到excel中向Hive中写入数据通过Hadoopcopyfiles作业组件把数据加载到hive数据库中执行Hive的SQL语句 从Hive中下载数据到excel中 拉出表输入步骤,...
  • 在hive客户端查看数据库spark是存在的但是用spark连接Hive查不到数据库spark hive> show databases; OK default spark Time taken: 0.11 seconds, Fetched: 3 row(s) 原因分析: spark没找到Hive的元数据 ...
  • 安装hive,要搭建可以进行远程连接hive的环境 远程连接hive,服务端和客户端不在一个节点的上的搭建方式 1.前期准备的包 环境为hive-3.1.2 需要下载 hive-exec-3.1.2.jar,mysql-connector-java-5.1.40.jar这两个包...
  • Python连接hive

    2019-05-30 11:26:18
    使用pyhive连接hive后,可以直接保存为数据框 import sys import pandas as pd from pyhive import hive username = 'xxx' password = 'yyy' queue = '队列名' conn = hive.connect( host='#ip', port=9999...
  • SQuirrel连接hive配置

    万次阅读 2019-03-21 10:52:46
    1. 简介  最近由于大数据部门相关同事离职,不得不研究一下... 在Hive的官网上介绍三种可视化工具用于Windows系统中,可以通过JDBC连接Hive,包括:SQuirrel SQL Client、Oracle SQL Developer以及DbVisualiz...
  • 查看hive版本-获取hive-jdbc驱动-连接hive报错前言一、使用步骤报错示例 前言 链接hive报错大多数都是hive的jdbc驱动版本有问题跟链接的hive版本不一样 一、使用步骤 在hadoop集群,hive 找到jar包路径 退出hive ...
  • Java 连接 Hive

    千次阅读 2015-04-27 10:13:46
    Hive具有一个可选的组件叫做HiveServer后者Hive...Hive提供了jdbc驱动,使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive
  • Python连接Hive

    千次阅读 2016-06-15 17:01:30
    1.在使用Python连接hive之前,需要将hive安装包下的lib/py中的文件拷贝到python的sys.path中的site-packages下,否则引入对应的包会报错,这个是使用hive提供的Python接口来调用hive客户端。 2 启动hive 的...
  • idea远程连接hive

    千次阅读 2018-02-09 14:12:30
    虽然网上介绍idea远程连接hive的方法挺多的,但是我还是整了一段时间才连接成功,在这边记录一下,方便他人,方便自己。首先看一下我通过xshell5远程连接hive的配置这是登陆时候的界面,可以看到我选择的是10.100.34...
  • JAVA如何连接Hive

    千次阅读 2020-06-23 20:01:52
    在IDEA中用jdbc连接hive 本文介绍通过远程windows系统上的IDEA使用jdbc连接hive并对其进行基本的查询操作。 首先建一个maven工程,导入依赖包导pom.xml <dependency> <groupId>org.apache.hive</...
  • eclipse连接hive

    千次阅读 2015-03-04 14:16:15
    eclipse连接hive   在访问HDFS的基础上,把hive的lib目录下面的jar导进eclipse里面去。   代码: package hive; importjava.sql.Connection; importjava.sql.DriverManager; importjava.sql.ResultSet; ...
  • flink1.11.2连接hive数据库

    千次阅读 2020-11-30 10:04:40
    #flink连接hive并读取数据 前提条件 已经有Hadoop和hive的环境 flink版本1.11.2 设置hive-site.xml #修改hive-site.xml文件如下,此文件不是修改hive安装目录下面的文件而是你项目启动的环境 直接拷贝hive下面的...
  • 通过python连接hive

    千次阅读 2018-12-27 17:59:09
    需求:通过Anaconda3.6.7连接hive查询 步鄹: 下载pyhive conda install pyhive 查询脚本 from pyhive import hive conn = hive.Connection(host=&amp;amp;quot;IP&amp;amp;quot;, port=10000, ...
  • 配置好Presto连接hive的配置文件后,连接hive执行查询语句的时候报 此时要在你安装hive的目录下运行hive --service metastore命令就可以了
  • 远程连接hive配置

    千次阅读 2019-06-08 23:00:16
    远程连接hive配置 1. 配置hive-site.xml 在hive-site.xml中加入配置信息,ip需要修改。 <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property>...
  • spark通过jdbc连接hive

    千次阅读 2019-07-18 17:33:14
    连接hive的方法有很多,这里说说通过jdbc连接hive 首先要把hive下的conf下的hive-site.xml文件复制到编译器中 object readAndWriteHive { //从hive中读取数据表,去重并写到一个新表中 def main(args: Array...
  • springboot连接hive数据库

    千次阅读 2019-11-07 18:33:49
    springboot后台开发连接hive数据库 确保集群上hivesever2的服务已启动 hive数据库一般在10000端口 springboot开发 pox.xml 文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns=...
  • python 连接 hive

    万次阅读 2015-09-23 23:59:45
    由于版本的不同,Python 连接 hive 的方式也就不一样。在网上搜索关键字 python hive 的时候可以找到一些解决方案。大部分是这样的,首先把hive 根目录下的$HIVE_HOME/lib/py拷贝到 python 的库中,也就是 site-...
  • spring boot 连接hive

    千次阅读 2019-06-10 14:16:01
    介绍:linux文章里讲了怎么部署,这章主要讲如何通过springboot连接hive 第一步:加入jar <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-...
  • DataGrip连接Hive详细步骤

    千次阅读 2021-01-05 14:11:01
    文章目录前言一、开启Hive服务二、下载依赖jar包三、配置步骤总结 前言 我们知道Hive有三种使用方式:CLI命令行,HWI(hie web ...DataGrip使用JDBC方式连接Hive,可在本机开启一个DOS窗口使用telnet方式验证Hiv
  • 版本信息 DBeaver:7.3.0 Hive: CDH 5.12.1 集成的 1.1.0 问题描述 DBeaver 连接各种数据库时需要自己安装驱动 ...然后就开始报各种诸如下面截图的错误。 解决问题 ...到此,问题解决,可以连接Hive了 ...
  • jdbc连接hive0.14

    千次阅读 2014-11-05 17:26:22
    Jdbc连接hive0.14版本 目前官网最新版本是hive0.13,要想下载最新的hive得去git上去clone一个。 Hive0.14最大特点是支持直接插入。 现在做一个jdbc连接hive0.14的例子。 需要的jar包:   不要去引入单独的一...
  • python连接hive

    千次阅读 2017-04-13 15:45:43
    由于版本的不同,Python 连接 Hive 的方式也就不一样。 在网上搜索关键字 python hive 的时候可以找到一些解决方案。大部分是这样的,首先把hive 根目录下的$HIVE_HOME/lib/py拷贝到 python 的库中,也就是 site...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 58,138
精华内容 23,255
关键字:

怎么连接hive