精华内容
下载资源
问答
  • Hive数据库

    千次阅读 2017-07-13 17:05:41
    Hive数据库: Hive 构建在基于静态批处理的Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,Hive 并不能够在大规模数据集上实现低延迟快速的查询 hive是基于Hadoop的...

    Hive数据库:

    Hive 构建在基于静态批处理的Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,Hive 并不能够在大规模数据集上实现低延迟快速的查询

    hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能

    Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。

    --创建数据库:

       create database if not exists 库名

       comment 'this is test database'

       with dbproperties(‘creator’ = ‘hy’,’date’=’2017-6-20’)   ----数据库键值对属性信息

        location '库在的目录';

    --查看数据的描述信息和文件目录位置信息

       describe database 库名;

       describe database extended库名;

    --过滤数据库:

     show databases  like  " f . * " ;

    -- --删除数据库

       drop database if exists 库名;

    --级联删除数据库(当数据库还有表时,级联删除表后在删除数据库),默认是restrict

       drop database if exists 库名 cascade;

    --修改数据库:只能修改数据库的键值对属性值。数据库名和数据库所在的目录位置不能修改

       alter database 库名set dmproperties(‘edited-by’=’hy1’);

    --创建表: 其中tblproperties作用:按照键值对的格式为表增加额外的文档说明,也可用来表示数据库连接的必要的元数据信息

    --hive会自动增加二个表属性:last_modified_by(最后修改表的用户名)last_modified_time(最后一次修改的时间)

       create table if not exists 库名.表名(字段名 字段类型 comment ‘字段名解释’,salary float comment ‘薪水’)

       comment ‘这是一个测试的表’

       tblproperties(‘creator’=’hy,’created_at’=’2017-6-2309:50:33’)

       location ‘/路径/库名.db/表名’;

    --查看和列举表的tblproperties属性信息

       show tblproperties table_name;

    --使用like在创建表的时候,拷贝表模式(而无需拷贝数据)

       create table if not exists 库名.2 like 库名.1;

    --查看表的详细结构信息(也可以显示表是管理表,还是外部表。还有分区信息)

       describe extended 库名.表名;

    --载入数据:先选择指定的库

       load data inpath '/group1/zhtest/data.txt' intotable表名;

    --查询表中数据

     select * from 表名;

    --查询前两条

     select * from 表名 limit 2;

    --统计表的行数

       select  count(*) from 表名 ;

    --求某个字段和

       select  sum(字段名) from  表名 ;

    --删除表

       drop table if exists 表名;

    --修改表-表重命名

       alter table old_table_name rename to new_table_name;

    --修改列信息

       alter table table_name

       change column old_name new_name int

       comment ‘this is comment’

        after severity; --字段移到severity字段之后(移动到第一个位置,使用first关键字)

    --增加列

        alter table table_name add columns(app_name stringcomment ‘application name’);

    --删除或者替换列

        alter table table_name replace columns(hms int comment‘hhh’);

    --修改表属性

       alter table table_name set tblproperties(‘notes’=’thisis a notes’);

    展开全文
  • SpagoBI集成Hive数据库

    2015-03-23 18:19:19
    SpagoBI集成Hive数据库:此文档主要介绍集成步骤,不包含Hive数据库部分。在做集成时Hive数据库老是不稳定,导致报表出问题。针对这种情况小伙伴可以写个简单的JDBC连接 循环测试一下。
  • hive数据库操作——hive命令行

    千次阅读 2018-01-06 17:49:16
    hive数据库操作——hive命令行 本文主要介绍通过hive命令行对hive数据库进行操作。 好,下面上货。 1、显示所有数据库 show databases; 模糊匹配数据库名称 show databases like 'd*'; 、 ...

    hive数据库操作——hive命令行

    本文主要介绍通过hive命令行对hive数据库进行操作。

    好,下面上货。
    1、显示所有数据库
    show databases;


    模糊匹配数据库名称
    show databases like 'd*';


    2、数据库新增
    create database if not exists xytestdatabase;


    新增数据库后,能够在hdfs中查询到数据库的位置



    3、查看数据库的具体信息
    describe database xytestdatabase;


    或者使用更详细的方式。
    describe database extended xytestdatabase;


    4、删除数据库
    drop database if exists xytestdatabase;



    删除数据库的时候有一点需要注意,如果数据库中是有表的,那么是不允许删除的,如果想要删除,那么想要使用如下命令:
    drop database if exists xytestdatabase cascade;

    注意:在hive中是不能对数据库进行修改的,无论是数据的名称,还是数据库的存储路径都是不能修改的。


    展开全文
  • springboot连接hive数据库

    千次阅读 2019-11-07 18:33:49
    springboot后台开发连接hive数据库 确保集群上hivesever2的服务已启动 hive数据库一般在10000端口 springboot开发 pox.xml 文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns=...

    springboot后台开发连接hive数据库

    确保集群上hivesever2的服务已启动

    hive数据库一般在10000端口

    springboot开发

    • pox.xml 文件
    <?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
        <parent>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-parent</artifactId>
            <version>2.2.0.RELEASE</version>
            <relativePath/> <!-- lookup parent from repository -->
        </parent>
        <groupId>com.education</groupId>
        <artifactId>edu_server</artifactId>
        <version>0.0.1-SNAPSHOT</version>
        <name>edu_server</name>
        <description>Demo project for Spring Boot</description>
    
        <properties>
            <java.version>1.8</java.version>
        </properties>
    
        <dependencies>
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
                <version>2.1.2.RELEASE</version>
                <exclusions>
                    <exclusion>
                        <groupId>org.apache.logging.log4j</groupId>
                        <artifactId>log4j-slf4j-impl</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-jdbc</artifactId>
                <version>2.1.2.RELEASE</version>
            </dependency>
    
            <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>druid-spring-boot-starter</artifactId>
                <version>1.1.10</version>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.data</groupId>
                <artifactId>spring-data-hadoop</artifactId>
                <version>2.5.0.RELEASE</version>
                <exclusions>
                    <exclusion>
                        <groupId>jdk.tools</groupId>
                        <artifactId>jdk.tools</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>
    
            <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-jdbc</artifactId>
                <version>1.1.0</version>
                <exclusions>
                    <exclusion>
                        <groupId>org.eclipse.jetty.aggregate</groupId>
                        <artifactId>*</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>jdk.tools</groupId>
                        <artifactId>jdk.tools</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>org.slf4j</groupId>
                        <artifactId>slf4j-log4j12</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>org.apache.hive</groupId>
                        <artifactId>hive-shims</artifactId>
                    </exclusion>
                    <exclusion>
                        <artifactId>jasper-compiler</artifactId>
                        <groupId>tomcat</groupId>
                    </exclusion>
                    <exclusion>
                        <artifactId>jasper-runtime</artifactId>
                        <groupId>tomcat</groupId>
                    </exclusion>
                    <exclusion>
                        <artifactId>servlet-api</artifactId>
                        <groupId>javax.servlet</groupId>
                    </exclusion>
                    <exclusion>
                        <artifactId>log4j-slf4j-impl</artifactId>
                        <groupId>org.apache.logging.log4j</groupId>
                    </exclusion>
                    <exclusion>
                        <artifactId>slf4j-log4j12</artifactId>
                        <groupId>org.slf4j</groupId>
                    </exclusion>
                    <exclusion>
                        <groupId>tomcat</groupId>
                        <artifactId>*</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>ch.qos.logback</groupId>
                        <artifactId>logback-classic</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>org.eclipse.jetty.orbit</groupId>
                        <artifactId>*</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>javax.servlet</groupId>
                        <artifactId>servlet-api</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>org.mortbay.jetty</groupId>
                        <artifactId>*</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>
    
            <dependency>
                <groupId>org.apache.tomcat</groupId>
                <artifactId>tomcat-jdbc</artifactId>
                <version>9.0.11</version>
            </dependency>
    
            <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>fastjson</artifactId>
                <version>1.2.4</version>
            </dependency>
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-devtools</artifactId>
                <optional>true</optional>
                <scope>runtime</scope>
            </dependency>
    
        </dependencies>
    
        <build>
            <plugins>
                <plugin>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-maven-plugin</artifactId>
                </plugin>
            </plugins>
        </build>
    
    </project>
    
    
    • application.yml文件
    server:
      port: 18891
    
    hive:
      url: jdbc:hive2://10.100.XX.XXX:10000/default #hive默认数据库
      driver-class-name: org.apache.hive.jdbc.HiveDriver
      type: com.alibaba.druid.pool.DruidDataSource
      user: a
      password: b
      initialSize: 1
      minIdle: 3
      maxActive: 20
      maxWait: 60000
      timeBetweenEvictionRunsMillis: 60000
      minEvictableIdleTimeMillis: 30000
      validationQuery: select 1
      testWhileIdle: true
      testOnBorrow: false
      testOnReturn: false
      poolPreparedStatements: true
      maxPoolPreparedStatementPerConnectionSize: 20
    
    
    • hive配置
    package com.education.edu_server.config;
    
    import org.apache.tomcat.jdbc.pool.DataSource;
    import org.springframework.beans.factory.annotation.Value;
    import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    import org.springframework.jdbc.core.JdbcTemplate;
    
    
    @Configuration
    public class HiveConfig {
        @Value("${hive.url}")
        private String url;
    
        @Value("${hive.driver-class-name}")
        private String driver;
    
        @Value("${hive.user}")
        private String user;
    
        @Value("${hive.password}")
        private String password;
    
        @Bean
        public DataSource dataSource(){
            DataSource dataSource = new DataSource();
            dataSource.setUrl(url);
            dataSource.setDriverClassName(driver);
            dataSource.setUsername(user);
            dataSource.setPassword(password);
            return dataSource;
        }
    
        @Bean
        public JdbcTemplate jdbcTemplate(DataSource dataSource){
            return new JdbcTemplate(dataSource);
        }
    }
    
    
    • controller
    package com.education.edu_server.controller;
    
    import com.alibaba.fastjson.JSON;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.beans.factory.annotation.Qualifier;
    import org.springframework.jdbc.core.JdbcTemplate;
    import org.springframework.web.bind.annotation.GetMapping;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RestController;
    
    import java.util.List;
    import java.util.Map;
    
    @RestController
    @RequestMapping("/index")
    public class IndexController {
        @Autowired
        @Qualifier("jdbcTemplate")
        private JdbcTemplate jdbcTemplate;
    
        @GetMapping("/list")
        public String list() {
            String sql = "select app,pref from game_pref order by pref desc";
            List<Map<String, Object>> list = jdbcTemplate.queryForList(sql);
            return JSON.toJSONString(list);
        }
    }
    
    

    注意事项(坑)

    1. Error: Could not open client transport with JDBC Uri:
      hive地址不对,询问管理hive集群的人解决
    2. Required field ‘client_protocol’ is unset!
      jdbc-hive依赖的版本(2.3.3)与hive的版本(1.1.0)不匹配,将jdbc-hive依赖版本改为1.1.0
    展开全文
  • mysql中的hive数据库是自己手动创建的,然后执行下面语句: schematool -dbType mysql -initSchema  该语句的作用是在mysql的hive数据库下建立一大堆的表格.   ------------下面是hive操作---...

    mysql中的hive数据库是自己手动创建的,然后执行下面语句:

    schematool -dbType mysql -initSchema 

    该语句的作用是在mysql的hive数据库下建立一大堆的表格.

     

    ------------下面是hive操作-------------

    hive> show databases;
    OK
    default
    hive
    Time taken: 0.018 seconds, Fetched: 2 row(s)

    ------------下面是mysql操作-------------

    mysql> use hive
    Database changed
    mysql> select * from DBS;
    +-------+-----------------------+-----------------------------------+---------+------------+------------+-----------+
    | DB_ID | DESC                  | DB_LOCATION_URI                   | NAME    | OWNER_NAME | OWNER_TYPE | CTLG_NAME |
    +-------+-----------------------+-----------------------------------+---------+------------+------------+-----------+
    |     1 | Default Hive database | file:/user/hive/warehouse         | default | public     | ROLE       | hive      |
    |    11 | NULL                  | file:/user/hive/warehouse/hive.db | hive    | appleyuchi | USER       | hive      |
    +-------+-----------------------+-----------------------------------+---------+------------+------------+-----------+
    2 rows in set (0.00 sec)

    展开全文
  • jdbc连接hive数据库的驱动jar包

    热门讨论 2016-09-19 11:21:04
    jdbc连接hive数据库的jar包.整理可用合集.
  • Hive数据库操作集合

    2020-11-25 19:34:28
    Hive数据库操作集合 一 、建库语法 #注意:中括号中的内容都是可省略的。 CREATE DATABASE [IF NOT EXISTS] 库名 #[IF NOT EXISTS] :如果库不存在就创建,如果存在则不创建。如果没有该字段库存在则抛异常 ...
  • 可能需要先看的内容(主要是依赖安装和连接hive时的报错问题解决) sublime+python+hive ...tables=['list_day']#所有要迁移的表名数组,本hive数据库和mysql数据库表名相同,字段也相同,所以比较简单 st...
  • Hive数据库创建分区表,并插入数据 一、进入Hive数据库 beeline -u "jdbc:hive2://bigdata1:10000/;principal=hive/_HOST@optics.bigdata.COM" 二、创建hive数据库 create database fy_test; 三、创建hive分区表 ...
  • hive数据库数据次数统计排序

    千次阅读 2018-12-11 10:59:34
    在学习hive中我们首先练笔的应该是数据统计 ... 爬虫代码我就不列出来了 ...然后我们将其上传到hive数据库 先进hive数据库 /usr/hive/apache-hive-2.1.1-bin/bin/hive 创建表user create table user(user_...
  • Hive的java客户端连接Hive数据库

    千次阅读 2018-03-27 22:05:56
    记录一下用java客户端连接Hive数据库,连接数据库的时候必须要启动HiveServer2,要不然连接不上…,测试的时候下载一下 &lt;dependency&gt; &lt;groupId&gt;org.apache.hive&lt;/groupId&...
  • Jdbc连接Hive数据库

    2017-08-26 12:44:54
    Jdbc连接Hive数据库通常会遇到:  报错:jdbc:hive2://master0.example.com:10000: Java.NET.ConnectException: Connection refused: connect 首先来看下maven的配置文件: 接着是hive-...
  • hive数据库使用记录

    2019-09-07 22:05:28
    近期几个月更多的是在为了工作而研究保险类的业务知识,比如核心承保啊、理赔的乱七八糟的玩意,没有学习什么有意思的java技术,不过在搞大数据统计分析的时候,用到了hive数据库,思前想后,还是简单的学习并记录...
  • Hive数据库及表操作;线上线下;熟悉Hive的数据类型 使用Hive管理雇员信息 使用JDBC操作雇员表;掌握Hive的数据类型 掌握Hive数据库和表操作 理解Hive内部表和外部表 理解Hive数据分区分桶 掌握Hive Shell命令行模式 ...
  • 问题: 当hive数据库中有多个表,想要直接删除删除该数据库时: drop database 数据库名 cascade; 即可
  • 统计HDFS上Hive数据库表文件大小
  • cloudera manager中添加hive数据库使用mysql的配置的详细步骤
  • hive数据库的索引解析

    2019-03-25 16:32:35
    hive数据库的索引 简要描述 注意:索引是数据库的标配技术,hive从0.7以后才开始支持索引。 索引的特点:索引文件本身有序,索引文件较小。 索引的优缺点 hive索引的优点:避免全表扫描或者减少扫描的数量,提高...
  • 一、Hive数据库操作 1.1 查看数据库 show databases; 使用like关键字模糊匹配 # 显示包含db_前缀的数据库名称 show databases like 'db_*'; 1.2 使用数据库 use database名称 1.3 创建数据库 create database ...
  • Hive数据库连接-连接池实现

    千次阅读 2018-11-15 16:36:36
    Hive数据库连接-连接池实现 通过HiveJDBC获取Hive的连接Connection,下面我们简单介绍HiveJDBC数据库连接实现 HiveJDBC配置文件 连接池配置文件hive-jdbc.properties # 初始化连接池数 db.jdbcPoolInitSize=5 ...
  • HIVE数据库解析vc编写

    2011-01-25 19:28:35
    可能对于很多编程员来说注册表HIVE数据库都是个头痛的难题,这篇源代码或许有所帮助
  • 本文提供一个导入数据到hive,用python读取hive数据库的例子。这实际是个比较简单的操作,但是还是存在很多坑。   1.首先第一步 需要将Mysql或者其他数据库的文件导出成CSV文件格式。当然如果你做爬虫,可以直.....
  • 有Mysql数据库的情况下为什么要用Hive数据库?最近接到公司的一个需求,要求使用Hive数据库做数据查询。当时第一反应就是What?Hive是什么鬼?一脸懵逼状。(请原谅一个刚开始实习的Java实习生见识短浅)然后发现了...
  • python3处理dataframe数据存入hive数据库

    千次阅读 2020-06-10 22:53:15
    hive数据库是基于HDFS的一个数据库,是对hdfs数据的一个映射关系。 注意:hive数据库存入数据的时候不建议使用insert into语句来进行插入,这样的的操作方式在效率上会很低效。 下面来说一下我的经历: 1、使用...
  • Hive数据库是一个命名空间或表的集合。此语法声明如下: CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name> 示例: hive> CREATE DATABASE IF NOT EXISTS t_log; 创建的数据库位于在hive-site....
  • 前言 ...本文介绍用python读取hive数据库的方式,其中还是存在一些坑,这里我也把自己遇到的进行分享交流。 基本情况 集团有20台服务器(其中1台采集主节点,1台大数据监控平台,1台资源监控) ...
  • Hive数据库 1.没有指定数据库,会使用默认的数据库default 2.创建数据库  CREATE DATABASE IF NOT EXISTS [数据库名]  LOCATION '/目录' //默认为/usr/hive/warehouse  COMMENT '描述信息'  WITH DBPROPERTIES('...
  • hive数据库概念和基本操作

    千次阅读 2018-05-03 15:56:14
    hive数据库:概念:hive中的数据库本质上仅仅是表的一个目录或命名空间。对于具有很多用户和组的大集群而言,这种方式可以避免表的命名冲突。通常会使用数据库来将生产表组织成逻辑组。示例:本地模式配置了数据库的...
  • hive数据库操作(上)1、DDL---数据定义语言1.1数据库操作1.2表操作1.2.1管理表与外部表1.2.2分区表2、DML---数据操作语言2.1数据导入2.2数据导出 1、DDL—数据定义语言 1.1数据库操作 创建数据库 create database...
  • 将CSV文件导入到hive数据库

    万次阅读 2016-05-26 11:28:22
    将CSV文件导入到hive数据库

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 14,489
精华内容 5,795
关键字:

hive数据库