精华内容
下载资源
问答
  • Hive查看表的分区字段

    万次阅读 2018-06-10 16:46:58
    查询某个表的分区信息:SHOW PARTITIONS employee;查看某个表是否存在某个特定分区键SHOW PARTITIONS employee PARTITION(country='US') DESCRIBE EXTENDED employee PARTITION(country='US')【SHOW命令的其它用法...

    查询某个表的分区信息:

    SHOW PARTITIONS employee;

    查看某个表是否存在某个特定分区键

    SHOW PARTITIONS employee PARTITION(country='US')

    DESCRIBE EXTENDED employee PARTITION(country='US')

    【SHOW命令的其它用法:展示所有表:SHOW TABLES】

    查询表信息:

    DESCRIBE EXTENDED employee;

    查询结构化的表信息:

    DESCRIBE FORMATTED employee;

    【DESCRIBE命令的其它用法:展示所有表:DESCRIBE FUNCTION substr】


    展开全文
  • Hive表查看各个分区的更新时间

    千次阅读 2020-05-31 19:49:29
    找到LOCATION,表示的就是hive表的数据存放的路径 (下面的图片,有些信息被我隐掉啦,不过不影响阅读) 找到路径后,在命令行输入以下命令 hdfs dfs -ls hdfs://nameservice1/user/hive/warehouse/dev.db/cdl_...

    (作者:陈玓玏data-master.net
    '查看hive各分区更新的时间:

    show create table dev.cdl_monitor;
    

    找到LOCATION,表示的就是hive表的数据存放的路径
    (下面的图片,有些信息被我隐掉啦,不过不影响阅读)在这里插入图片描述
    找到路径后,在命令行输入以下命令

    hdfs dfs -ls hdfs://nameservice1/user/hive/warehouse/dev.db/cdl_monitor
    

    这样就能看到每个分区更新的时间了。
    在这里插入图片描述
    如果你的表不止一个分区,而你想要看最里层的分区,就再打开一层文件,再执行hdfs dfs -ls命令即可。

    展开全文
  • 通过上述命令,可以查询出来存储格式、表在hdfs实际存储的目录,表的基本信息等都可以列出来,有利于排查问题。 2、分区信息查看 -- 显示test表分区信息 show partitions test; -- 显示te...

    Hive中常用排错的命令

    1、显示Table和Partition的详细信息

    -- 获取table详细描述信息、存储格式等
    desc formatted test;

    通过上述命令,可以查询出来存储格式、表在hdfs实际存储的目录,表的基本信息等都可以列出来,有利于排查问题。

    2、分区信息查看

    -- 显示test表分区信息
    show partitions test;
    
    -- 显示test表 指定(ds=20190903)分区相信信息,如果存在就显示,如果不存在就不显示
    show partitions test partition(ds=20190903);
    show partitions test partition(ds=20190904);
    
    -- 显示分区的详细信息,可以查看字段
    desc formatted test partition(ds=20190903);
    

    在此特地的提一下  “desc formatted test partition(ds=20190903);” 这个SQL,为什么呢?

    可能有人会问,记这些有啥用,等你被坑的时候,你就知道了?

    我来介绍一下这个坑,其实也不是坑吧,个人认为就是有一点不合理,怎么说呢?对于OLAP来讲,确实增减字段不是很厚道,但是大部分业务会有这样的场景,比如A表里面有10个字段,我需要临时加一个字段,怎么办?

    加个字段呗?   alter table test add columns(age int);    -- 非分区表,正常的

    BUT常用的是分区表,不可行,常见的一个现象就是,导入导出、查询分区表的数据的时候,会出现某一列无数据,有时候报错,慌不?查看创表语句发现,确实加上了字段了呀,但是就是无法进行导出操作?报不存在字段,慌不?

    不要慌:其实是你操作不对,也不算是Hive的bug吧,Hive已经提供了解决方案,如下:

    示例:alter table test_partition partition(year=2018) add columns(age int);   -- 往 year=2018 分区里面添加字段

    这样写,只能针对与一个分区,进行添加字段,能批量对历史分区也加上字段么?

    示例:alter table table_for_test_add_column add columns (added_column string COMMENT '新添加的列') CASCADE;

    那么我们就可以继续happy的玩耍了~     验证各种操作都正常~

    3、show语句支持正则表达式

    场景:

          有一个库,有N张表,我们需要查询某一张表,怎么办呢?名字刚好又忘记了,只记得个大概,那么我们可以进行模糊查询哦~(不知道这个语法之前,宝宝都是copy出来,然后用submit 搜的)

    使用命令如下:

    -- 模糊查询函数名
    show functions "a.*";
    show functions "a.";
    show functions "ab.";
    show functions ".s";
    show functions "*.s";
    show functions ".bs";
    
    -- 模糊查询表名
    show tables "*.test.*"
    
    -- 语法雷同,具体不多bb。
    
    -- 该语句输出匹配正则表达式的自定义和内置的函数,使用’.*’输出所有函数。需要注意的是正则表达式中必须要有点号,否则不会匹配成功
    

     

    嗯,目前就这些小技巧了~ 后续使用上再发现,再继续补充吧,基础的DDL、DML,我没写哦~

     

     

    展开全文
  • hive表分区的修复

    2018-01-08 11:32:00
    hive从低版本升级到高版本或者做hadoop集群数据迁移时,需要重新创建表分区,由于使用是动态分区,所以需要重新刷新分区表字段,否则无法查看数据。 在hive中执行中以下命令即可自动更新元数据中的表分区:...

    hive从低版本升级到高版本或者做hadoop的集群数据迁移时,需要重新创建表和表分区,由于使用的是动态分区,所以需要重新刷新分区表字段,否则无法查看数据。

    在hive中执行中以下命令即可自动更新元数据中的表分区:

     MSCK REPAIR TABLE 表名;

     后记:

    今天同事在测试从其他集群移过来的数据时,发现使用count统计记录数时显示为0.

    由于没有分区字段,即是用了msck也不行,后来解决的方法是:

    使用load命令再重新加载一次,load的源路径和目标路径可以相同。

    转载于:https://www.cnblogs.com/30go/p/8241883.html

    展开全文
  • 问题原因:之前hive里有数据,后面MySQL数据库坏了,导致hive元数据信息丢失,但是hdfs上hive表的数据并没有丢失,重新建表后查看hive分区没有,数据也没有。需要进行修复。 解决方法:可以使用msck repair table ...
  • 背景:此前因测试环境hdfs存储空间不足,利用hadoop fs -du -s命令查看后,顺手hadoop fs -rmr删除了存储较大的分区目录。此时并没有删除分区元数据信息。 今天在测试hive表ORCFile格式存储压缩率时,恰好用到之前...
  • 1、Hive分区 是指按照数据表的某列或某些列分为多个区,区从形式上可以理解为文件夹,比如我们要收集...下面从用shell命令操作分区表和从hdfs文件系统查看分区表相结合的方式加深对分区表的认识。 第一,创建分区表...
  • Hive分区表简介

    2018-07-02 14:26:58
    Hive的分区表分为两种:静态分区和动态分区。 1.静态分区: 可以根据PARTITIONED BY创建分区,一个可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在文件夹的目录下。 分区是以字段的形式在结构...
  • hive 表的复制

    2018-02-01 19:06:15
    1、首先需要明确分区表和非分区表 可以通过查看建表信息命令:...2、非分区表的复制 将表t_temp复制到新建表t_copy: create table t_copy as select * from t_temp; 3、分区表的复制 分区表如
  • hive查看表的信息

    千次阅读 2019-01-30 22:44:21
    目录查看表的分区情况模糊查看查看表的创建语句查看表的结构信息(详细)简单查看表的结构信息查看表的扩展信息(信息更详细) 在hive中,我们可以通过命令查看表的创建语句、分区、及其他详细信息 查看表的分区...
  • 常用Hive命令(一)查看分区location

    千次阅读 2018-08-06 14:08:38
    如题,可通过以下命令查看表中某个分区的location: describe formatted tableName partition (date_str="2018-07-31");  
  • 如何查看hive表结构?2.如何查看表结构信息?3.如何查看分区信息?4.哪个命令可以模糊搜索表 1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息desc formatted table_name;desc table_name;3.查看...
  • spark检查hive表中是否存在某一分区

    千次阅读 2019-05-29 16:51:09
    hive表分区的概念 一个表可以拥有一个或者多个分区,每个分区以文件夹形式单独存在表文件夹目录下。 例如下图中xx.db(数据库),device_flow_report_data(表) month_id=201902:表示按月进行了分区 day_id=...
  • Hive——DDL之创建(内外部分区表)DDL之创建表命令1.内部(管理)1)普通命令创建2)根据查询结果创建3)根据已经存在的表创建结构2.外部1)使用命令创建2)使用desc命令查看表3)drop掉外部查看...
  • 转自:... 问题导读: 1.如何查看hive表结构? 2.如何查看表结构信息? 3.如何查看分区信息? 4.哪个命令可以模糊搜索表 *.hive查看建表语句   show create table table_name
  • hive表结构信息

    2020-07-22 16:42:16
    1.如何查看hive表结构? 2.如何查看表结构信息? 3.如何查看分区信息? 4.哪个命令可以模糊搜索表 1.hive模糊搜索表 show tables like ‘name’; 2.查看表结构信息 desc formatted table_name; desc table_name; 3....
  • 相关链接: Hive基础一(数据库,分区表,视图,导入导出数据) Hive基础二(join原理和机制...查看Hive版本方法是在Hive命令行中输入:hive> set system:sun.java.command;1,Hive数据单元 Databases:数据
  • 3、查看是否是分区表 show partitions tableName; 4、查看表前几条记录 select * from tableName limit 10; 5、查看表某一分区数据 select * from tableName where 分区字段=分区 limit 1...
  • # check table partition hive> show partitions ...如果是外部 ,不小心把给删除了 ,可以适用下命令重新关联和数据 [MSCK REPAIR TABLE] 全量修复分区 hive> msck repair table table_name; ...
  • hive分区和分桶区别

    2021-04-01 16:24:59
    1,Hive分区。 是指按照数据表的某列或某些列分为多个区,区从形式上可以理解为文件夹,比如...下面从用shell命令操作分区表和从hdfs文件系统查看分区表相结合的方式加深对分区表的认识。 第一,创建分区表并将本地文件
  • Hive常用命令

    2019-05-17 15:12:38
    Hive常用命令 基础命令: show databases; # 查看某个数据库 use 数据库; # 进入某个数据库 show tables; # 展示所有 desc 表名; # 显示结构 show partitions 表名; # 显示表名的分区 show create table_...
  • [Impala基础]-- 查看impala分区命令

    千次阅读 2017-05-10 17:39:27
    1、命令 SHOW PARTITIONS TABLE_NAME; 2、分区 对应mysql信息 在hivemetastore数据库中PARTITIONS里面      
  • Hive命令

    2019-11-25 17:31:27
    基础命令 show databases; # 查看某个数据库 use 数据库; # 进入某个数据库 show tables; # 展示所有表 ... # 显示表名的分区 show create table_name; # 显示创建表的结构 # 建表语句 # 内部表 use xxdb; c...
  • 分布式系统--hive的基本命令 基本命令: show databases; # 查看某个数据库 use 数据库; # 进入某个数据库 show tables; # 展示所有 ... # 显示结构 ... # 显示表名的分区 show create tabl...
  • Hive查看表中文注释乱码问题

    千次阅读 2018-07-12 16:33:33
    Hive使用show create table查看表结构,发现中文注释乱码,包括普通字段及分区字段。 解决 这是由于Hive元数据库跟注释相关字段编码不是UTF8类型,解决方法为登陆到元数据库中执行以下查看及修改命令, ...
  •  分区是以字段形式在结构中存在,通过describe table命令可以查看到字段存在, 但是该字段不存放实际数据内容,仅仅是分区的表示(伪列)。   1)静态分区 create table if not exists sopdm.wyp2...
  • 首先我们先看下目前数据库的分区情况: show partitions 表名; 现在开始删除dt=20190910的分区 第一种方法:运用sql直接对表操作 alter table 表名 drop partition(dt=20190910); 再次查看分区。发现已经...

空空如也

空空如也

1 2 3 4
收藏数 73
精华内容 29
关键字:

查看hive表的分区命令